Przejdź do treści
piątek, 20 listopada 2026
Tenesys AI News
Subskrypcja

Badania AI

Prace naukowe, benchmarki, architektury, rozumowanie i metody trenowania.

#Benchmark — 6 artykułów ✕

Badania· Ważne· 🧪 Warte przetestowania

Testy MCQ sztucznie ukrywają odmowy bezpieczeństwa w modelach LLM

Badania pokazują, że format pytań wielokrotnego wyboru (MCQ) tłumi zachowania odmawiające w modelach LLM. Eksperymenty na modelach Llama-3.1-8B i Qwen3-8B wykazują, że wymuszenie konkretnej litery odpowiedzi przesuwa aktywacje modelu 3x dalej od kierunku odmowy, co oznacza, że benchmarki bezpieczeństwa oparte na MCQ mogą zawyżać ocenę bezpieczeństwa modelu.

arXiv cs.CL
Badania· 🧪 Warte przetestowania

Nowy benchmark pokazuje, że celność wyszukiwania nie jest równa pamięci długokontekstowej

Opublikowano nowy benchmark Simple Retrieval-Reconstruction Memory (SRRM), mający na celu lepszą ocenę wydajności długokontekstowej w małych modelach językowych (SLM). Wyniki pokazują, że wraz ze wzrostem długości kontekstu zdolność modelu do rekonstrukcji informacji pogarsza się znacznie szybciej niż jego zdolność do wyszukiwania konkretnych faktów, co dowodzi, że standardowe testy wyszukiwania nie wystarczają do oceny pamięci.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowy benchmark SLATE testuje agenty AI w złożonych procesach API

Naukowcy przedstawili SLATE, narzędzie do oceny długoterminowego wyboru API na dużą skalę w środowiskach korporacyjnych. W odróżnieniu od obecnych testów, wymusza on na modelach nawigację wśród około 1000 narzędzi w celu wykonania złożonych zadań.

arXiv cs.CL

Ai2 wydaje otwarty model embeddingów satelitarnych OlmoEarth v1.3 z darmową przeglądarką map

Ai2 opublikowało OlmoEarth v1.3 — model embeddingów, który roczne dane radarowe i multispektralne zbiera w jeden zwarty wektor dla każdego 10-metrowego fragmentu powierzchni Ziemi. Wraz z modelem udostępniono darmowe narzędzie przeglądarkowe OlmoEarth Embeddings Explorer, pozwalające porównywać krajobrazy w różnych latach lub trenować małe klasyfikatory bez GPU. W testach porównawczych z AlphaEarth Foundations i Tessera v2 na 27 zadaniach nowy model wypada najlepiej ogólnie, a jego trening kosztował znacznie mniej niż poprzednich wersji.

Hugging Face
Badania· Ważne

Allen Institute wprowadza benchmark FairStress do wykrywania ukrytych uprzedzeń w decyzjach LLM

Allen Institute for AI (Ai2) opublikował FairStress – benchmark badający sprawiedliwość demograficzną modeli LLM nie tylko na podstawie końcowej decyzji, ale też tego, jak łatwo decyzja zmienia się pod wpływem perswazji. Testy modeli open-weight i flagowych, w tym Olmo, Llama, Qwen, Gemma, Claude i rodziny GPT, pokazały, że modele częściej rezygnują z poprawnej, dobrze uzasadnionej decyzji, gdy sprzyja to kandydatowi kodowanemu jako mniejszość – zjawisko nazwane „anty-stereotypową nadkorektą”. Benchmark obejmuje 300 scenariuszy w 29 dziedzinach (rekrutacja, kredyty, opieka zdrowotna, edukacja, mieszkalnictwo, wymiar sprawiedliwości), rozszerzonych do ponad 13 mln przypadków testowych, a także mniejszy podzbiór FairStress-Core liczący 50 tys. elementów do szybszej oceny.

Hugging Face
Badania· Ważne· 🧪 Warte przetestowania

GitHub udostępnia ReviewBench — wspólny standard oceny agentów AI do przeglądu kodu

GitHub opublikował ReviewBench, benchmark w fazie podglądu badawczego (research preview), który ma umożliwić porównywanie agentów AI do przeglądu kodu według wspólnego, weryfikowalnego standardu. Zbiór danych obejmuje 219 rzeczywistych publicznych pull requestów w 19 językach i 187 repozytoriach, dobranych tak, by odzwierciedlały rozkład języków i rozmiarów wśród 103,9 mln rzeczywistych pull requestów na GitHubie. Dane referencyjne (ground truth) pochodzą z połączenia recenzentów-ludzi, narzędzi do analizy statycznej oraz kilku czołowych modeli LLM, a ich oceny zweryfikowali starsi inżynierowie, których osądy zgadzały się z etykietami benchmarku w 96,6% przypadków. GitHub twierdzi, że już wykorzystał ReviewBench wewnętrznie do śledzenia własnego produktu Copilot code review (CCR), a zmiany wyników offline wiarygodnie przewidywały kierunek późniejszych testów A/B na produkcji.

GitHub