Pereiti prie turinio
2026 m. lapkričio 20 d., penktadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

#Evaluation — 7 straipsniai ✕

Agentai· Svarbu· 🧪 Verta testuoti

„AWS“ pristatė nepriklausomą nuo sistemos AI agentų vertinimo įrankį

„Amazon“ išleido universalų agentų vertinimo sistemos (UAEF) sprendimą, skirtą standartizuoti AI agentų testavimą. Naudojant adapterius, įvairių karkasų, tokių kaip „LangChain“ ar „LangGraph“, vykdymo sekos konvertuojamos į bendrą formatą, leidžiantį taikyti nuoseklius vertinimo kriterijus.

AWS Machine Learning
Agentai· Svarbu· 🧪 Verta testuoti

Amazon Bedrock AgentCore pristatė integruotą DeepEval ir AutoEval palaikymą

Amazon Bedrock AgentCore dabar siūlo platų integruotų, trečiųjų šalių ir pasirinktinių vertintojų katalogą agentų elgsenai gamybinėje aplinkoje stebėti. Platforma leidžia vykdyti DeepEval ir AutoEval metrikas valdomoje aplinkoje, palaikant užklausų, realaus laiko bei paketinio vertinimo darbo eigas.

AWS Machine Learning
Agentai· Svarbu· 🧪 Verta testuoti

Agentų optimizavimo automatizavimas su NVIDIA NeMo

NVIDIA pristatė darbo eigą, leidžiančią paversti gamybos metu aptiktas agentų klaidas struktūrizuotais testais, naudojant NeMo Compass ir NeMo Eval Author. Šis procesas analizuoja veiklos žurnalus, kad nustatytų pasikartojančias problemas, generuoja tikslinius vertinimus ir patikrina agento patobulinimus.

NVIDIA Developer
Tyrimai· Svarbu· 🧪 Verta testuoti

„Google“ pristatė inžinerinių dirbtinio intelekto agentų vertinimo standartą

„Google“ pristatė „Physical-Engineering's Last Exam“ (PLE) – naują vertinimo sistemą, skirtą tikrinti DI agentų gebėjimus mechaninės, elektros, civilinės ir struktūrinės inžinerijos srityse. Skirtingai nei standartiniuose testuose, PLE reikalauja, kad agentai apdorotų didelius projekto aplankus, įskaitant CAD brėžinius ir statybos normas, ir pateiktų saugius, reikalavimus atitinkančius sprendimus.

Google Cloud AI
Agentai· Svarbu· 🧪 Verta testuoti

Automatizuotas AI agentų kokybės vertinimas

„Google“ pristatė naują „Agents CLI“ vertinimo įrankį, skirtą „hill-climbing“ metodui – iteraciniam agentų našumo gerinimo procesui per testavimą, vertinimą ir analizę. Įrankis leidžia stebėti regresijas lyginant agentų veiklos pėdsakus po modelių ar užklausų (prompt) pakeitimų, aptinkant problemas, kurių nepastebi standartiniai vienetiniai testai.

Google Developers
Tyrimai· Svarbu· 🧪 Verta testuoti

Nauja metrika gerina LLM agentų patikimumą per nuoseklumo mokymą

Tyrėjai pristatė „Recursive Semantic Divergence“ (RSD) – neprižiūrimą metriką, kuri matuoja ir baudžia už nenuoseklumą LLM agentų trajektorijose. Naudojant RSD kaip atlygio signalą tiksliojo derinimo (fine-tuning) metu, modeliai demonstruoja daug stabilesnį elgesį ir didesnius sėkmės rodiklius atliekant įrankių naudojimo užduotis.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

GitHub atveria ReviewBench — bendrą standartą AI kodo peržiūros agentų vertinimui

GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.

GitHub