Przejdź do treści
piątek, 20 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Benchmark — 8 artykułów ✕

Badania· Ważne· 🧪 Warte przetestowania

Testy MCQ sztucznie ukrywają odmowy bezpieczeństwa w modelach LLM

Badania pokazują, że format pytań wielokrotnego wyboru (MCQ) tłumi zachowania odmawiające w modelach LLM. Eksperymenty na modelach Llama-3.1-8B i Qwen3-8B wykazują, że wymuszenie konkretnej litery odpowiedzi przesuwa aktywacje modelu 3x dalej od kierunku odmowy, co oznacza, że benchmarki bezpieczeństwa oparte na MCQ mogą zawyżać ocenę bezpieczeństwa modelu.

arXiv cs.CL
Badania· 🧪 Warte przetestowania

Nowy benchmark pokazuje, że celność wyszukiwania nie jest równa pamięci długokontekstowej

Opublikowano nowy benchmark Simple Retrieval-Reconstruction Memory (SRRM), mający na celu lepszą ocenę wydajności długokontekstowej w małych modelach językowych (SLM). Wyniki pokazują, że wraz ze wzrostem długości kontekstu zdolność modelu do rekonstrukcji informacji pogarsza się znacznie szybciej niż jego zdolność do wyszukiwania konkretnych faktów, co dowodzi, że standardowe testy wyszukiwania nie wystarczają do oceny pamięci.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowy benchmark SLATE testuje agenty AI w złożonych procesach API

Naukowcy przedstawili SLATE, narzędzie do oceny długoterminowego wyboru API na dużą skalę w środowiskach korporacyjnych. W odróżnieniu od obecnych testów, wymusza on na modelach nawigację wśród około 1000 narzędzi w celu wykonania złożonych zadań.

arXiv cs.CL
Agenci· Ważne· 🧪 Warte przetestowania

ALTK-Evolve od IBM poprawia agentów obsługi klienta dzięki wyuczonym wskazówkom w promptach, bez douczania modelu

ALTK-Evolve od IBM Research wydobywa krótkie reguły zachowania z wcześniejszych prób agenta na zadaniach treningowych i dołącza je do system promptu podstawowego agenta ReAct działającego na GPT-4.1. W benchmarku obsługi klienta τ²-bench (domeny retail i airline) to podejście oparte na uczonej pamięci podniosło dokładność i niezawodność bez aktualizacji wag modelu i bez ludzkiej anotacji. Pełny zestaw wskazówek „lossless” podniósł wynik agenta GPT-4.1 do Pass^4 = 67,5% w retail — najwyższy wynik w migawce rankingu z 12 października 2026, przewyższając nawet model douczony specjalnie na syntetycznych danych retail. Technika poprawiła też agenta opartego na zaawansowanym GPT-5.5 w zadaniach airline, wynosząc go na szczyt tego rankingu.

Hugging Face
Agenci· Ważne· 🧪 Warte przetestowania

Badanie Cohere: dobrze zorganizowane zespoły agentów przewyższają pojedyncze agenty kodujące za ułamek kosztów

Cohere zbudowało kontrolowane środowisko testowe, aby zbadać, jak powinny być organizowane zespoły agentów kodujących — testując, gdzie deleguje się pracę, jak agent wiodący czeka na pracowników, jakie modele pełnią jakie role, wielkość zespołu i wzorce komunikacji. W teście ProgramBench dobrze zorganizowane zespoły przewyższyły pojedyncze agenty nawet o ~10 punktów procentowych, ale kosztowały 3–7 razy więcej. Kluczowy wniosek: delegowanie pracownikom wyłącznie eksploracji i planowania dało taki sam wynik jak delegowanie wszystkich etapów (implementacji i weryfikacji) za połowę kosztu, a silny agent wiodący z 16 tanimi pracownikami planowania osiągnął wynik 61,8% wobec 63,2% dla zespołu złożonego z samych silnych modeli, obniżając koszt z 510 do 155 dolarów.

Cohere
Voice AI· 🧪 Warte przetestowania

TII wprowadza Falcon-ASR – model rozpoznawania mowy o 1,6 mld parametrów skupiony na arabskim i dialekcie emirackim

Technology Innovation Institute (TII) wydał Falcon-ASR, model automatycznego rozpoznawania mowy (ASR) o 1,6 miliarda parametrów, stworzony przede wszystkim dla języka arabskiego, ze szczególnym uwzględnieniem dialektu emirackiego. Przy użyciu tych samych wag transkrybuje także angielski, francuski, hiszpański i portugalski. TII podaje, że model przewyższa najlepszy opublikowany wynik w standardowym benchmarku arabskim i prowadzi w wewnętrznej ocenie dialektu emirackiego, obsługując przy tym znaczniki czasowe na poziomie słów.

Hugging Face
Voice AI· Ważne· 🧪 Warte przetestowania

AssemblyAI wprowadza Universal-3.5 Pro z natywnym przełączaniem języków i lepszym rozpoznawaniem mówców

AssemblyAI wydała Universal-3.5 Pro, nowy flagowy asynchroniczny model mowy-na-tekst w cenie 0,21 USD/godz. Model natywnie transkrybuje rozmowy z przełączaniem języków (code-switching) w 18 językach bez dodatkowej konfiguracji, wprowadza wspólnie modelowane rozpoznawanie mówców wbudowane bezpośrednio w transkrypt (zamiast łączenia z osobnego systemu) oraz obsługuje kontekstowe podpowiadanie, pozwalające dostarczyć modelowi wiedzę branżową. Testy pokazują niższy wskaźnik błędów słów na nagraniach z przełączaniem języków oraz wyższą dokładność cpWER w rozpoznawaniu mówców w porównaniu z kilkoma modelami konkurencji oraz wcześniejszym Universal-3 Pro od AssemblyAI.

AssemblyAI
Badania· Ważne· 🧪 Warte przetestowania

GitHub udostępnia ReviewBench — wspólny standard oceny agentów AI do przeglądu kodu

GitHub opublikował ReviewBench, benchmark w fazie podglądu badawczego (research preview), który ma umożliwić porównywanie agentów AI do przeglądu kodu według wspólnego, weryfikowalnego standardu. Zbiór danych obejmuje 219 rzeczywistych publicznych pull requestów w 19 językach i 187 repozytoriach, dobranych tak, by odzwierciedlały rozkład języków i rozmiarów wśród 103,9 mln rzeczywistych pull requestów na GitHubie. Dane referencyjne (ground truth) pochodzą z połączenia recenzentów-ludzi, narzędzi do analizy statycznej oraz kilku czołowych modeli LLM, a ich oceny zweryfikowali starsi inżynierowie, których osądy zgadzały się z etykietami benchmarku w 96,6% przypadków. GitHub twierdzi, że już wykorzystał ReviewBench wewnętrznie do śledzenia własnego produktu Copilot code review (CCR), a zmiany wyników offline wiarygodnie przewidywały kierunek późniejszych testów A/B na produkcji.

GitHub