Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.
Pristatytas „Simple Retrieval-Reconstruction Memory“ (SRRM) etalonas, skirtas geriau įvertinti mažųjų kalbos modelių (SLM) ilgo konteksto našumą. Tyrimai rodo, kad didėjant konteksto ilgiui, modelio gebėjimas atkurti informaciją prastėja daug sparčiau nei gebėjimas rasti konkrečius faktus, todėl standartiniai paieškos testai nėra pakankami tikrajai atminčiai matuoti.
Tyrėjai pristatė SLATE – etaloninį testą, skirtą įvertinti ilgalaikį, didelio masto API pasirinkimą įmonių programinės įrangos aplinkose. Skirtingai nei dabartiniai testai, jis priverčia modelius naviguoti tarp maždaug 1000 įrankių, kad atliktų sudėtingas užduotis.
Ai2 išleido OlmoEarth v1.3 — embeddingų modelį, kuris metus trukusius radaro ir multispektrinius palydovinius duomenis suspaudžia į vieną kompaktišką vektorių kiekvienam 10 metrų žemės taškui. Kartu pristatytas nemokamas naršyklėje veikiantis įrankis „OlmoEarth Embeddings Explorer“, leidžiantis palyginti kraštovaizdžius per metus arba treniruoti mažus klasifikatorius be GPU. Lyginant su AlphaEarth Foundations ir Tessera v2 per 27 testus, naujasis modelis pirmauja bendrame vertinime, o jo treniravimas kainavo gerokai mažiau nei ankstesnių versijų.
Allen Institute for AI (Ai2) paskelbė FairStress – etaloną, kuris tikrina LLM demografinį sąžiningumą ne tik pagal galutinį sprendimą, bet ir pagal tai, kaip lengvai tas sprendimas keičiasi veikiant įtikinėjimui. Testuojant atvirojo kodo ir priešakinius modelius, tarp jų Olmo, Llama, Qwen, Gemma, Claude ir GPT šeimą, nustatyta, kad modeliai dažniau atsisako teisingo, gerai pagrįsto sprendimo, kai tai naudinga mažumai priskiriamam kandidatui – šis reiškinys vadinamas „anti-stereotipiniu peržengimu“ (anti-stereotypical over-correction). Etaloną sudaro 300 scenarijų 29 srityse (įdarbinimas, kreditavimas, sveikatos priežiūra, švietimas, būstas, baudžiamoji teisė), išplėstų į daugiau nei 13 mln. testinių atvejų, taip pat mažesnis 50 tūkst. elementų „FairStress-Core“ pogrupis greitesniam vertinimui.
IBM Research sukurtas ALTK-Evolve išskiria trumpas elgsenos taisykles iš agento ankstesnių mokymo užduočių bandymų ir prideda jas prie bazinio ReAct agento, veikiančio su GPT-4.1, sisteminio prompt'o. τ²-bench klientų aptarnavimo benchmarke (mažmeninės prekybos ir oro linijų srityse) šis mokymosi atminties metodas pagerino tikslumą ir patikimumą be modelio svorių atnaujinimo ar žmogaus anotacijų. Pilnas „lossless“ gairių rinkinys pakėlė GPT-4.1 agentą iki 67,5% Pass^4 balo mažmeninėje prekyboje — tai aukščiausias rezultatas 2026 m. spalio 12 d. lyderių lentelės momentinėje nuotraukoje, aplenkiant net modelį, specialiai perkvalifikuotą sintetiniais mažmeninės prekybos duomenimis. Technika taip pat pagerino pažangų GPT-5.5 agentą oro linijų užduotyse, pakėlusi jį į lyderių lentelės viršūnę.
AWS išbandė savo AWS Security Agent (dabar AWS Continuum dalis) su nauju, specialiai sukurtu benchmarku iš 37 realių, neseniai paskelbtų CVE, kiekvieną paleidžiant kaip gyvą konteinerizuotą taikinį su paslėpta vėliavėle. Pradėdamas nuo žemo privilegijų lygio taško, turėdamas tik vienos eilutės užuominą ir jokio PoC, agentas (veikiantis su Claude Opus 5) sėkmingai ir iki galo išnaudojo 33 iš 37 pažeidžiamumų po patikros audito; 2 atvejai perklasifikuoti kaip netinkamu keliu pasiekti sprendimai, o 2 atvejais agentas sugadino taikinį prieš ištraukdamas vėliavėlę. AWS sukūrė šį benchmarką, kad išvengtų viešų CVE rinkinių užteršimo problemos, kai modeliai gali būti įsiminę sprendimus iš mokymo duomenų.
Cohere sukūrė kontroliuojamą testavimo aplinką, kad ištirtų, kaip turėtų būti organizuojamos kodavimo agentų komandos — testuojant, kur deleguojamas darbas, kaip pagrindinis agentas laukia darbuotojų, kokie modeliai atlieka kokius vaidmenis, komandos dydį ir bendravimo būdus. ProgramBench teste gerai organizuotos komandos lenkė pavienius agentus iki ~10 procentinių punktų, tačiau kainavo 3–7 kartus brangiau. Svarbiausia išvada: deleguojant darbuotojams tik tyrinėjimą ir planavimą pasiekiamas toks pat rezultatas kaip deleguojant visus etapus (įgyvendinimą ir patikrinimą) už perpus mažesnę kainą, o stiprus pagrindinis agentas su 16 pigių planavimo darbuotojų pasiekė 61,8% rezultatą, palyginti su 63,2% visiškai stipraus modelio komandoje, sumažinant kainą nuo 510 iki 155 dolerių.
Technology Innovation Institute (TII) pristatė Falcon-ASR – 1,6 mlrd. parametrų automatinio kalbos atpažinimo (ASR) modelį, pirmiausia skirtą arabų kalbai, ypač Emiratų dialektui. Tais pačiais modelio svoriais jis taip pat transkribuoja anglų, prancūzų, ispanų ir portugalų kalbas. TII teigia, kad modelis aplenkia geriausią viešai skelbtą rezultatą standartiniame arabų kalbos teste ir pirmauja vidiniame Emiratų dialekto vertinime, taip pat palaiko žodžių lygio laiko žymas.
AssemblyAI išleido Universal-3.5 Pro — naują pagrindinį asinchroninį kalbos atpažinimo (STT) modelį, kainuojantį 0,21 USD/val. Modelis natūraliai transkribuoja kalbų perjungimo (code-switching) pokalbius 18 kalbų be papildomos konfigūracijos, pristato bendrai modeliuojamą kalbėtojų atskyrimą, integruotą tiesiai į transkriptą (o ne sujungtą iš atskiros sistemos), bei palaiko kontekstinį paraginimą, leidžiantį pateikti modeliui srities žinias. Testai rodo mažesnį žodžių klaidų lygį kalbų perjungimo garso įrašuose ir didesnį cpWER tikslumą kalbėtojų atskyrime, lyginant su kelais konkurentų modeliais ir ankstesniu AssemblyAI Universal-3 Pro.
GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.