Pereiti prie turinio
2026 m. lapkričio 20 d., penktadienis
Tenesys AI News
Prenumerata

AI agentai

AI agentai, MCP, tool ir function calling, programavimo ir naršyklės agentai, multi-agent sistemos.

#Evaluation — 5 straipsniai ✕

Agentai· Svarbu· 🧪 Verta testuoti

„AWS“ pristatė nepriklausomą nuo sistemos AI agentų vertinimo įrankį

„Amazon“ išleido universalų agentų vertinimo sistemos (UAEF) sprendimą, skirtą standartizuoti AI agentų testavimą. Naudojant adapterius, įvairių karkasų, tokių kaip „LangChain“ ar „LangGraph“, vykdymo sekos konvertuojamos į bendrą formatą, leidžiantį taikyti nuoseklius vertinimo kriterijus.

AWS Machine Learning
Agentai· Svarbu· 🧪 Verta testuoti

Amazon Bedrock AgentCore pristatė integruotą DeepEval ir AutoEval palaikymą

Amazon Bedrock AgentCore dabar siūlo platų integruotų, trečiųjų šalių ir pasirinktinių vertintojų katalogą agentų elgsenai gamybinėje aplinkoje stebėti. Platforma leidžia vykdyti DeepEval ir AutoEval metrikas valdomoje aplinkoje, palaikant užklausų, realaus laiko bei paketinio vertinimo darbo eigas.

AWS Machine Learning
Agentai· Svarbu· 🧪 Verta testuoti

Agentų optimizavimo automatizavimas su NVIDIA NeMo

NVIDIA pristatė darbo eigą, leidžiančią paversti gamybos metu aptiktas agentų klaidas struktūrizuotais testais, naudojant NeMo Compass ir NeMo Eval Author. Šis procesas analizuoja veiklos žurnalus, kad nustatytų pasikartojančias problemas, generuoja tikslinius vertinimus ir patikrina agento patobulinimus.

NVIDIA Developer
Agentai· Svarbu· 🧪 Verta testuoti

Automatizuotas AI agentų kokybės vertinimas

„Google“ pristatė naują „Agents CLI“ vertinimo įrankį, skirtą „hill-climbing“ metodui – iteraciniam agentų našumo gerinimo procesui per testavimą, vertinimą ir analizę. Įrankis leidžia stebėti regresijas lyginant agentų veiklos pėdsakus po modelių ar užklausų (prompt) pakeitimų, aptinkant problemas, kurių nepastebi standartiniai vienetiniai testai.

Google Developers
Agentai· 🧪 Verta testuoti

Siemens su NVIDIA NeMo Gym pagerino lustų projektavimo agentų greitį ir tikslumą

NVIDIA paskelbė atvejo analizę, kaip Siemens EDA panaudojo atvirojo kodo NeMo Gym vertinimo biblioteką, kad patobulintų lustų charakterizavimui skirtą agentinį įrankį. Vietoj atskirų įrankių iškvietimų tikrinimo, komanda vertino pilnus galutinius failus specializuotu verifikatoriumi, o klaidų pobūdį panaudojo agentо įgūdžių instrukcijoms ir MCP įrankių aprašymams perrašyti. Po kelių tokio ciklo etapų bendras tikslumo balas pakilo nuo maždaug 55 % iki 95 %, o agentui prireikė kur kas mažiau žingsnių ir rezultato apimties. Eksperimentuose naudota apie 25 vertinimo bandymus su Claude Opus 4.8 kaip agento modeliu, veikiančiu Claude Code aplinkoje.

NVIDIA Developer