Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.
Pristatytas „Simple Retrieval-Reconstruction Memory“ (SRRM) etalonas, skirtas geriau įvertinti mažųjų kalbos modelių (SLM) ilgo konteksto našumą. Tyrimai rodo, kad didėjant konteksto ilgiui, modelio gebėjimas atkurti informaciją prastėja daug sparčiau nei gebėjimas rasti konkrečius faktus, todėl standartiniai paieškos testai nėra pakankami tikrajai atminčiai matuoti.
Tyrėjai pristatė SLATE – etaloninį testą, skirtą įvertinti ilgalaikį, didelio masto API pasirinkimą įmonių programinės įrangos aplinkose. Skirtingai nei dabartiniai testai, jis priverčia modelius naviguoti tarp maždaug 1000 įrankių, kad atliktų sudėtingas užduotis.
IBM Research sukurtas ALTK-Evolve išskiria trumpas elgsenos taisykles iš agento ankstesnių mokymo užduočių bandymų ir prideda jas prie bazinio ReAct agento, veikiančio su GPT-4.1, sisteminio prompt'o. τ²-bench klientų aptarnavimo benchmarke (mažmeninės prekybos ir oro linijų srityse) šis mokymosi atminties metodas pagerino tikslumą ir patikimumą be modelio svorių atnaujinimo ar žmogaus anotacijų. Pilnas „lossless“ gairių rinkinys pakėlė GPT-4.1 agentą iki 67,5% Pass^4 balo mažmeninėje prekyboje — tai aukščiausias rezultatas 2026 m. spalio 12 d. lyderių lentelės momentinėje nuotraukoje, aplenkiant net modelį, specialiai perkvalifikuotą sintetiniais mažmeninės prekybos duomenimis. Technika taip pat pagerino pažangų GPT-5.5 agentą oro linijų užduotyse, pakėlusi jį į lyderių lentelės viršūnę.
Cohere sukūrė kontroliuojamą testavimo aplinką, kad ištirtų, kaip turėtų būti organizuojamos kodavimo agentų komandos — testuojant, kur deleguojamas darbas, kaip pagrindinis agentas laukia darbuotojų, kokie modeliai atlieka kokius vaidmenis, komandos dydį ir bendravimo būdus. ProgramBench teste gerai organizuotos komandos lenkė pavienius agentus iki ~10 procentinių punktų, tačiau kainavo 3–7 kartus brangiau. Svarbiausia išvada: deleguojant darbuotojams tik tyrinėjimą ir planavimą pasiekiamas toks pat rezultatas kaip deleguojant visus etapus (įgyvendinimą ir patikrinimą) už perpus mažesnę kainą, o stiprus pagrindinis agentas su 16 pigių planavimo darbuotojų pasiekė 61,8% rezultatą, palyginti su 63,2% visiškai stipraus modelio komandoje, sumažinant kainą nuo 510 iki 155 dolerių.
Technology Innovation Institute (TII) pristatė Falcon-ASR – 1,6 mlrd. parametrų automatinio kalbos atpažinimo (ASR) modelį, pirmiausia skirtą arabų kalbai, ypač Emiratų dialektui. Tais pačiais modelio svoriais jis taip pat transkribuoja anglų, prancūzų, ispanų ir portugalų kalbas. TII teigia, kad modelis aplenkia geriausią viešai skelbtą rezultatą standartiniame arabų kalbos teste ir pirmauja vidiniame Emiratų dialekto vertinime, taip pat palaiko žodžių lygio laiko žymas.
AssemblyAI išleido Universal-3.5 Pro — naują pagrindinį asinchroninį kalbos atpažinimo (STT) modelį, kainuojantį 0,21 USD/val. Modelis natūraliai transkribuoja kalbų perjungimo (code-switching) pokalbius 18 kalbų be papildomos konfigūracijos, pristato bendrai modeliuojamą kalbėtojų atskyrimą, integruotą tiesiai į transkriptą (o ne sujungtą iš atskiros sistemos), bei palaiko kontekstinį paraginimą, leidžiantį pateikti modeliui srities žinias. Testai rodo mažesnį žodžių klaidų lygį kalbų perjungimo garso įrašuose ir didesnį cpWER tikslumą kalbėtojų atskyrime, lyginant su kelais konkurentų modeliais ir ankstesniu AssemblyAI Universal-3 Pro.
GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.