Badania pokazują, że format pytań wielokrotnego wyboru (MCQ) tłumi zachowania odmawiające w modelach LLM. Eksperymenty na modelach Llama-3.1-8B i Qwen3-8B wykazują, że wymuszenie konkretnej litery odpowiedzi przesuwa aktywacje modelu 3x dalej od kierunku odmowy, co oznacza, że benchmarki bezpieczeństwa oparte na MCQ mogą zawyżać ocenę bezpieczeństwa modelu.
Opublikowano nowy benchmark Simple Retrieval-Reconstruction Memory (SRRM), mający na celu lepszą ocenę wydajności długokontekstowej w małych modelach językowych (SLM). Wyniki pokazują, że wraz ze wzrostem długości kontekstu zdolność modelu do rekonstrukcji informacji pogarsza się znacznie szybciej niż jego zdolność do wyszukiwania konkretnych faktów, co dowodzi, że standardowe testy wyszukiwania nie wystarczają do oceny pamięci.
Naukowcy przedstawili SLATE, narzędzie do oceny długoterminowego wyboru API na dużą skalę w środowiskach korporacyjnych. W odróżnieniu od obecnych testów, wymusza on na modelach nawigację wśród około 1000 narzędzi w celu wykonania złożonych zadań.
ALTK-Evolve od IBM Research wydobywa krótkie reguły zachowania z wcześniejszych prób agenta na zadaniach treningowych i dołącza je do system promptu podstawowego agenta ReAct działającego na GPT-4.1. W benchmarku obsługi klienta τ²-bench (domeny retail i airline) to podejście oparte na uczonej pamięci podniosło dokładność i niezawodność bez aktualizacji wag modelu i bez ludzkiej anotacji. Pełny zestaw wskazówek „lossless” podniósł wynik agenta GPT-4.1 do Pass^4 = 67,5% w retail — najwyższy wynik w migawce rankingu z 12 października 2026, przewyższając nawet model douczony specjalnie na syntetycznych danych retail. Technika poprawiła też agenta opartego na zaawansowanym GPT-5.5 w zadaniach airline, wynosząc go na szczyt tego rankingu.
Cohere zbudowało kontrolowane środowisko testowe, aby zbadać, jak powinny być organizowane zespoły agentów kodujących — testując, gdzie deleguje się pracę, jak agent wiodący czeka na pracowników, jakie modele pełnią jakie role, wielkość zespołu i wzorce komunikacji. W teście ProgramBench dobrze zorganizowane zespoły przewyższyły pojedyncze agenty nawet o ~10 punktów procentowych, ale kosztowały 3–7 razy więcej. Kluczowy wniosek: delegowanie pracownikom wyłącznie eksploracji i planowania dało taki sam wynik jak delegowanie wszystkich etapów (implementacji i weryfikacji) za połowę kosztu, a silny agent wiodący z 16 tanimi pracownikami planowania osiągnął wynik 61,8% wobec 63,2% dla zespołu złożonego z samych silnych modeli, obniżając koszt z 510 do 155 dolarów.
Technology Innovation Institute (TII) wydał Falcon-ASR, model automatycznego rozpoznawania mowy (ASR) o 1,6 miliarda parametrów, stworzony przede wszystkim dla języka arabskiego, ze szczególnym uwzględnieniem dialektu emirackiego. Przy użyciu tych samych wag transkrybuje także angielski, francuski, hiszpański i portugalski. TII podaje, że model przewyższa najlepszy opublikowany wynik w standardowym benchmarku arabskim i prowadzi w wewnętrznej ocenie dialektu emirackiego, obsługując przy tym znaczniki czasowe na poziomie słów.
AssemblyAI wydała Universal-3.5 Pro, nowy flagowy asynchroniczny model mowy-na-tekst w cenie 0,21 USD/godz. Model natywnie transkrybuje rozmowy z przełączaniem języków (code-switching) w 18 językach bez dodatkowej konfiguracji, wprowadza wspólnie modelowane rozpoznawanie mówców wbudowane bezpośrednio w transkrypt (zamiast łączenia z osobnego systemu) oraz obsługuje kontekstowe podpowiadanie, pozwalające dostarczyć modelowi wiedzę branżową. Testy pokazują niższy wskaźnik błędów słów na nagraniach z przełączaniem języków oraz wyższą dokładność cpWER w rozpoznawaniu mówców w porównaniu z kilkoma modelami konkurencji oraz wcześniejszym Universal-3 Pro od AssemblyAI.
GitHub opublikował ReviewBench, benchmark w fazie podglądu badawczego (research preview), który ma umożliwić porównywanie agentów AI do przeglądu kodu według wspólnego, weryfikowalnego standardu. Zbiór danych obejmuje 219 rzeczywistych publicznych pull requestów w 19 językach i 187 repozytoriach, dobranych tak, by odzwierciedlały rozkład języków i rozmiarów wśród 103,9 mln rzeczywistych pull requestów na GitHubie. Dane referencyjne (ground truth) pochodzą z połączenia recenzentów-ludzi, narzędzi do analizy statycznej oraz kilku czołowych modeli LLM, a ich oceny zweryfikowali starsi inżynierowie, których osądy zgadzały się z etykietami benchmarku w 96,6% przypadków. GitHub twierdzi, że już wykorzystał ReviewBench wewnętrznie do śledzenia własnego produktu Copilot code review (CCR), a zmiany wyników offline wiarygodnie przewidywały kierunek późniejszych testów A/B na produkcji.