Przejdź do treści
piątek, 20 listopada 2026
Tenesys AI News
Subskrypcja

Agenci AI

Agenci AI, MCP, tool i function calling, agenci programistyczni i przeglądarkowi, systemy wieloagentowe.

#Evaluation — 5 artykułów ✕

Agenci· Ważne· 🧪 Warte przetestowania

AWS wprowadza niezależną od frameworka ocenę agentów AI

Amazon udostępnił Universal Agent Evaluation Framework (UAEF) – otwartoźródłowe narzędzie standaryzujące ocenę agentów AI. Dzięki adapterom, ślady wykonania z różnych frameworków, takich jak LangChain czy LangGraph, są normalizowane do jednego formatu, co pozwala na spójne testowanie w oparciu o 36 metryk w 7 wymiarach.

AWS Machine Learning
Agenci· Ważne· 🧪 Warte przetestowania

Amazon Bedrock AgentCore dodaje natywne wsparcie dla DeepEval i AutoEval

Amazon Bedrock AgentCore oferuje teraz szeroki katalog wbudowanych, zewnętrznych i własnych ewaluatorów do monitorowania zachowania agentów w środowisku produkcyjnym. Platforma umożliwia uruchamianie metryk z bibliotek DeepEval i AutoEval w środowisku zarządzanym, wspierając testy na żądanie, w czasie rzeczywistym oraz wsadowe.

AWS Machine Learning
Agenci· Ważne· 🧪 Warte przetestowania

Automatyzacja optymalizacji agentów z NVIDIA NeMo

NVIDIA wprowadziła workflow pozwalający na przekształcenie błędów agentów wykrytych w środowisku produkcyjnym w ustrukturyzowane testy przy użyciu NeMo Compass i NeMo Eval Author. Proces ten analizuje logi, identyfikuje powtarzające się problemy, generuje celowane testy i waliduje wprowadzane poprawki.

NVIDIA Developer
Agenci· Ważne· 🧪 Warte przetestowania

Automatyczna ocena jakości agentów AI

Google wprowadziło nową przestrzeń nazw w Agents CLI do oceny agentów, wspierającą proces „hill-climbing” – iteracyjne doskonalenie wydajności poprzez testowanie, ocenianie i analizę. Narzędzie pozwala śledzić regresje, porównując ślady działań agentów po zmianach w modelach lub promptach, wykrywając problemy, których nie wyłapują standardowe testy jednostkowe.

Google Developers
Agenci· 🧪 Warte przetestowania

Siemens z NVIDIA NeMo Gym poprawia szybkość i dokładność agentów do projektowania chipów

NVIDIA opublikowała studium przypadku pokazujące, jak Siemens EDA wykorzystał otwartą bibliotekę ewaluacyjną NeMo Gym, by usprawnić agenta do charakteryzacji chipów. Zamiast sprawdzać pojedyncze wywołania narzędzi, zespół oceniał kompletne pliki wynikowe za pomocą wyspecjalizowanego weryfikatora, a wzorce błędów wykorzystał do przepisania instrukcji umiejętności agenta i opisów narzędzi MCP. Po kilku rundach tej pętli łączny wynik benchmarku wzrósł z około 55% do 95%, a agent potrzebował znacznie mniej kroków i mniej danych wyjściowych. W eksperymentach wykorzystano około 25 przebiegów ewaluacyjnych z Claude Opus 4.8 jako modelem agenta działającym w Claude Code.

NVIDIA Developer