Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.
Pristatytas „Simple Retrieval-Reconstruction Memory“ (SRRM) etalonas, skirtas geriau įvertinti mažųjų kalbos modelių (SLM) ilgo konteksto našumą. Tyrimai rodo, kad didėjant konteksto ilgiui, modelio gebėjimas atkurti informaciją prastėja daug sparčiau nei gebėjimas rasti konkrečius faktus, todėl standartiniai paieškos testai nėra pakankami tikrajai atminčiai matuoti.
Tyrėjai pristatė SLATE – etaloninį testą, skirtą įvertinti ilgalaikį, didelio masto API pasirinkimą įmonių programinės įrangos aplinkose. Skirtingai nei dabartiniai testai, jis priverčia modelius naviguoti tarp maždaug 1000 įrankių, kad atliktų sudėtingas užduotis.
Ai2 išleido OlmoEarth v1.3 — embeddingų modelį, kuris metus trukusius radaro ir multispektrinius palydovinius duomenis suspaudžia į vieną kompaktišką vektorių kiekvienam 10 metrų žemės taškui. Kartu pristatytas nemokamas naršyklėje veikiantis įrankis „OlmoEarth Embeddings Explorer“, leidžiantis palyginti kraštovaizdžius per metus arba treniruoti mažus klasifikatorius be GPU. Lyginant su AlphaEarth Foundations ir Tessera v2 per 27 testus, naujasis modelis pirmauja bendrame vertinime, o jo treniravimas kainavo gerokai mažiau nei ankstesnių versijų.
Allen Institute for AI (Ai2) paskelbė FairStress – etaloną, kuris tikrina LLM demografinį sąžiningumą ne tik pagal galutinį sprendimą, bet ir pagal tai, kaip lengvai tas sprendimas keičiasi veikiant įtikinėjimui. Testuojant atvirojo kodo ir priešakinius modelius, tarp jų Olmo, Llama, Qwen, Gemma, Claude ir GPT šeimą, nustatyta, kad modeliai dažniau atsisako teisingo, gerai pagrįsto sprendimo, kai tai naudinga mažumai priskiriamam kandidatui – šis reiškinys vadinamas „anti-stereotipiniu peržengimu“ (anti-stereotypical over-correction). Etaloną sudaro 300 scenarijų 29 srityse (įdarbinimas, kreditavimas, sveikatos priežiūra, švietimas, būstas, baudžiamoji teisė), išplėstų į daugiau nei 13 mln. testinių atvejų, taip pat mažesnis 50 tūkst. elementų „FairStress-Core“ pogrupis greitesniam vertinimui.
GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.