Przejdź do treści
piątek, 20 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Benchmark — 11 artykułów ✕

Badania· Ważne· 🧪 Warte przetestowania

Testy MCQ sztucznie ukrywają odmowy bezpieczeństwa w modelach LLM

Badania pokazują, że format pytań wielokrotnego wyboru (MCQ) tłumi zachowania odmawiające w modelach LLM. Eksperymenty na modelach Llama-3.1-8B i Qwen3-8B wykazują, że wymuszenie konkretnej litery odpowiedzi przesuwa aktywacje modelu 3x dalej od kierunku odmowy, co oznacza, że benchmarki bezpieczeństwa oparte na MCQ mogą zawyżać ocenę bezpieczeństwa modelu.

arXiv cs.CL
Badania· 🧪 Warte przetestowania

Nowy benchmark pokazuje, że celność wyszukiwania nie jest równa pamięci długokontekstowej

Opublikowano nowy benchmark Simple Retrieval-Reconstruction Memory (SRRM), mający na celu lepszą ocenę wydajności długokontekstowej w małych modelach językowych (SLM). Wyniki pokazują, że wraz ze wzrostem długości kontekstu zdolność modelu do rekonstrukcji informacji pogarsza się znacznie szybciej niż jego zdolność do wyszukiwania konkretnych faktów, co dowodzi, że standardowe testy wyszukiwania nie wystarczają do oceny pamięci.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowy benchmark SLATE testuje agenty AI w złożonych procesach API

Naukowcy przedstawili SLATE, narzędzie do oceny długoterminowego wyboru API na dużą skalę w środowiskach korporacyjnych. W odróżnieniu od obecnych testów, wymusza on na modelach nawigację wśród około 1000 narzędzi w celu wykonania złożonych zadań.

arXiv cs.CL

Ai2 wydaje otwarty model embeddingów satelitarnych OlmoEarth v1.3 z darmową przeglądarką map

Ai2 opublikowało OlmoEarth v1.3 — model embeddingów, który roczne dane radarowe i multispektralne zbiera w jeden zwarty wektor dla każdego 10-metrowego fragmentu powierzchni Ziemi. Wraz z modelem udostępniono darmowe narzędzie przeglądarkowe OlmoEarth Embeddings Explorer, pozwalające porównywać krajobrazy w różnych latach lub trenować małe klasyfikatory bez GPU. W testach porównawczych z AlphaEarth Foundations i Tessera v2 na 27 zadaniach nowy model wypada najlepiej ogólnie, a jego trening kosztował znacznie mniej niż poprzednich wersji.

Hugging Face
Badania· Ważne

Allen Institute wprowadza benchmark FairStress do wykrywania ukrytych uprzedzeń w decyzjach LLM

Allen Institute for AI (Ai2) opublikował FairStress – benchmark badający sprawiedliwość demograficzną modeli LLM nie tylko na podstawie końcowej decyzji, ale też tego, jak łatwo decyzja zmienia się pod wpływem perswazji. Testy modeli open-weight i flagowych, w tym Olmo, Llama, Qwen, Gemma, Claude i rodziny GPT, pokazały, że modele częściej rezygnują z poprawnej, dobrze uzasadnionej decyzji, gdy sprzyja to kandydatowi kodowanemu jako mniejszość – zjawisko nazwane „anty-stereotypową nadkorektą”. Benchmark obejmuje 300 scenariuszy w 29 dziedzinach (rekrutacja, kredyty, opieka zdrowotna, edukacja, mieszkalnictwo, wymiar sprawiedliwości), rozszerzonych do ponad 13 mln przypadków testowych, a także mniejszy podzbiór FairStress-Core liczący 50 tys. elementów do szybszej oceny.

Hugging Face
Agenci· Ważne· 🧪 Warte przetestowania

ALTK-Evolve od IBM poprawia agentów obsługi klienta dzięki wyuczonym wskazówkom w promptach, bez douczania modelu

ALTK-Evolve od IBM Research wydobywa krótkie reguły zachowania z wcześniejszych prób agenta na zadaniach treningowych i dołącza je do system promptu podstawowego agenta ReAct działającego na GPT-4.1. W benchmarku obsługi klienta τ²-bench (domeny retail i airline) to podejście oparte na uczonej pamięci podniosło dokładność i niezawodność bez aktualizacji wag modelu i bez ludzkiej anotacji. Pełny zestaw wskazówek „lossless” podniósł wynik agenta GPT-4.1 do Pass^4 = 67,5% w retail — najwyższy wynik w migawce rankingu z 12 października 2026, przewyższając nawet model douczony specjalnie na syntetycznych danych retail. Technika poprawiła też agenta opartego na zaawansowanym GPT-5.5 w zadaniach airline, wynosząc go na szczyt tego rankingu.

Hugging Face

Autonomiczny agent pentestowy AWS wykorzystał 33 z 37 nowych CVE

AWS przetestował swojego AWS Security Agent (obecnie część AWS Continuum) na nowo opracowanym benchmarku złożonym z 37 realnych, niedawno ujawnionych CVE, z których każdy uruchamiano jako żywy, skonteneryzowany cel z ukrytą flagą. Zaczynając od punktu o niskich uprawnieniach, mając jedynie jednolinijkową wskazówkę i brak PoC, agent (działający na Claude Opus 5) przeprowadził pełne, zakończone sukcesem wykorzystanie 33 z 37 podatności po audycie integralności; 2 przypadki przeklasyfikowano jako rozwiązania niezamierzoną ścieżką, a w 2 przypadkach agent uszkodził cel, zanim zdążył odczytać flagę. AWS zbudował ten benchmark, by uniknąć problemu zanieczyszczenia publicznych zestawów CVE, które modele mogły zapamiętać z danych treningowych.

AWS Security
Agenci· Ważne· 🧪 Warte przetestowania

Badanie Cohere: dobrze zorganizowane zespoły agentów przewyższają pojedyncze agenty kodujące za ułamek kosztów

Cohere zbudowało kontrolowane środowisko testowe, aby zbadać, jak powinny być organizowane zespoły agentów kodujących — testując, gdzie deleguje się pracę, jak agent wiodący czeka na pracowników, jakie modele pełnią jakie role, wielkość zespołu i wzorce komunikacji. W teście ProgramBench dobrze zorganizowane zespoły przewyższyły pojedyncze agenty nawet o ~10 punktów procentowych, ale kosztowały 3–7 razy więcej. Kluczowy wniosek: delegowanie pracownikom wyłącznie eksploracji i planowania dało taki sam wynik jak delegowanie wszystkich etapów (implementacji i weryfikacji) za połowę kosztu, a silny agent wiodący z 16 tanimi pracownikami planowania osiągnął wynik 61,8% wobec 63,2% dla zespołu złożonego z samych silnych modeli, obniżając koszt z 510 do 155 dolarów.

Cohere
Voice AI· 🧪 Warte przetestowania

TII wprowadza Falcon-ASR – model rozpoznawania mowy o 1,6 mld parametrów skupiony na arabskim i dialekcie emirackim

Technology Innovation Institute (TII) wydał Falcon-ASR, model automatycznego rozpoznawania mowy (ASR) o 1,6 miliarda parametrów, stworzony przede wszystkim dla języka arabskiego, ze szczególnym uwzględnieniem dialektu emirackiego. Przy użyciu tych samych wag transkrybuje także angielski, francuski, hiszpański i portugalski. TII podaje, że model przewyższa najlepszy opublikowany wynik w standardowym benchmarku arabskim i prowadzi w wewnętrznej ocenie dialektu emirackiego, obsługując przy tym znaczniki czasowe na poziomie słów.

Hugging Face
Voice AI· Ważne· 🧪 Warte przetestowania

AssemblyAI wprowadza Universal-3.5 Pro z natywnym przełączaniem języków i lepszym rozpoznawaniem mówców

AssemblyAI wydała Universal-3.5 Pro, nowy flagowy asynchroniczny model mowy-na-tekst w cenie 0,21 USD/godz. Model natywnie transkrybuje rozmowy z przełączaniem języków (code-switching) w 18 językach bez dodatkowej konfiguracji, wprowadza wspólnie modelowane rozpoznawanie mówców wbudowane bezpośrednio w transkrypt (zamiast łączenia z osobnego systemu) oraz obsługuje kontekstowe podpowiadanie, pozwalające dostarczyć modelowi wiedzę branżową. Testy pokazują niższy wskaźnik błędów słów na nagraniach z przełączaniem języków oraz wyższą dokładność cpWER w rozpoznawaniu mówców w porównaniu z kilkoma modelami konkurencji oraz wcześniejszym Universal-3 Pro od AssemblyAI.

AssemblyAI
Badania· Ważne· 🧪 Warte przetestowania

GitHub udostępnia ReviewBench — wspólny standard oceny agentów AI do przeglądu kodu

GitHub opublikował ReviewBench, benchmark w fazie podglądu badawczego (research preview), który ma umożliwić porównywanie agentów AI do przeglądu kodu według wspólnego, weryfikowalnego standardu. Zbiór danych obejmuje 219 rzeczywistych publicznych pull requestów w 19 językach i 187 repozytoriach, dobranych tak, by odzwierciedlały rozkład języków i rozmiarów wśród 103,9 mln rzeczywistych pull requestów na GitHubie. Dane referencyjne (ground truth) pochodzą z połączenia recenzentów-ludzi, narzędzi do analizy statycznej oraz kilku czołowych modeli LLM, a ich oceny zweryfikowali starsi inżynierowie, których osądy zgadzały się z etykietami benchmarku w 96,6% przypadków. GitHub twierdzi, że już wykorzystał ReviewBench wewnętrznie do śledzenia własnego produktu Copilot code review (CCR), a zmiany wyników offline wiarygodnie przewidywały kierunek późniejszych testów A/B na produkcji.

GitHub