„Amazon“ išleido universalų agentų vertinimo sistemos (UAEF) sprendimą, skirtą standartizuoti AI agentų testavimą. Naudojant adapterius, įvairių karkasų, tokių kaip „LangChain“ ar „LangGraph“, vykdymo sekos konvertuojamos į bendrą formatą, leidžiantį taikyti nuoseklius vertinimo kriterijus.
Amazon Bedrock AgentCore dabar siūlo platų integruotų, trečiųjų šalių ir pasirinktinių vertintojų katalogą agentų elgsenai gamybinėje aplinkoje stebėti. Platforma leidžia vykdyti DeepEval ir AutoEval metrikas valdomoje aplinkoje, palaikant užklausų, realaus laiko bei paketinio vertinimo darbo eigas.
Pristatytas „Simple Retrieval-Reconstruction Memory“ (SRRM) etalonas, skirtas geriau įvertinti mažųjų kalbos modelių (SLM) ilgo konteksto našumą. Tyrimai rodo, kad didėjant konteksto ilgiui, modelio gebėjimas atkurti informaciją prastėja daug sparčiau nei gebėjimas rasti konkrečius faktus, todėl standartiniai paieškos testai nėra pakankami tikrajai atminčiai matuoti.
NVIDIA pristatė darbo eigą, leidžiančią paversti gamybos metu aptiktas agentų klaidas struktūrizuotais testais, naudojant NeMo Compass ir NeMo Eval Author. Šis procesas analizuoja veiklos žurnalus, kad nustatytų pasikartojančias problemas, generuoja tikslinius vertinimus ir patikrina agento patobulinimus.
„Google“ pristatė „Physical-Engineering's Last Exam“ (PLE) – naują vertinimo sistemą, skirtą tikrinti DI agentų gebėjimus mechaninės, elektros, civilinės ir struktūrinės inžinerijos srityse. Skirtingai nei standartiniuose testuose, PLE reikalauja, kad agentai apdorotų didelius projekto aplankus, įskaitant CAD brėžinius ir statybos normas, ir pateiktų saugius, reikalavimus atitinkančius sprendimus.
„Google“ pristatė naują „Agents CLI“ vertinimo įrankį, skirtą „hill-climbing“ metodui – iteraciniam agentų našumo gerinimo procesui per testavimą, vertinimą ir analizę. Įrankis leidžia stebėti regresijas lyginant agentų veiklos pėdsakus po modelių ar užklausų (prompt) pakeitimų, aptinkant problemas, kurių nepastebi standartiniai vienetiniai testai.
Tyrėjai pristatė „Recursive Semantic Divergence“ (RSD) – neprižiūrimą metriką, kuri matuoja ir baudžia už nenuoseklumą LLM agentų trajektorijose. Naudojant RSD kaip atlygio signalą tiksliojo derinimo (fine-tuning) metu, modeliai demonstruoja daug stabilesnį elgesį ir didesnius sėkmės rodiklius atliekant įrankių naudojimo užduotis.
NVIDIA paskelbė atvejo analizę, kaip Siemens EDA panaudojo atvirojo kodo NeMo Gym vertinimo biblioteką, kad patobulintų lustų charakterizavimui skirtą agentinį įrankį. Vietoj atskirų įrankių iškvietimų tikrinimo, komanda vertino pilnus galutinius failus specializuotu verifikatoriumi, o klaidų pobūdį panaudojo agentо įgūdžių instrukcijoms ir MCP įrankių aprašymams perrašyti. Po kelių tokio ciklo etapų bendras tikslumo balas pakilo nuo maždaug 55 % iki 95 %, o agentui prireikė kur kas mažiau žingsnių ir rezultato apimties. Eksperimentuose naudota apie 25 vertinimo bandymus su Claude Opus 4.8 kaip agento modeliu, veikiančiu Claude Code aplinkoje.
GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.