Amazon udostępnił Universal Agent Evaluation Framework (UAEF) – otwartoźródłowe narzędzie standaryzujące ocenę agentów AI. Dzięki adapterom, ślady wykonania z różnych frameworków, takich jak LangChain czy LangGraph, są normalizowane do jednego formatu, co pozwala na spójne testowanie w oparciu o 36 metryk w 7 wymiarach.
Amazon Bedrock AgentCore oferuje teraz szeroki katalog wbudowanych, zewnętrznych i własnych ewaluatorów do monitorowania zachowania agentów w środowisku produkcyjnym. Platforma umożliwia uruchamianie metryk z bibliotek DeepEval i AutoEval w środowisku zarządzanym, wspierając testy na żądanie, w czasie rzeczywistym oraz wsadowe.
NVIDIA wprowadziła workflow pozwalający na przekształcenie błędów agentów wykrytych w środowisku produkcyjnym w ustrukturyzowane testy przy użyciu NeMo Compass i NeMo Eval Author. Proces ten analizuje logi, identyfikuje powtarzające się problemy, generuje celowane testy i waliduje wprowadzane poprawki.
Google wprowadziło Physical-Engineering's Last Exam (PLE), nowy benchmark stworzony do oceny zdolności agentów AI w inżynierii mechanicznej, elektrycznej, cywilnej i strukturalnej. W przeciwieństwie do standardowych testów akademickich, PLE wymaga od agentów przetwarzania rozbudowanych projektów, obejmujących m.in. rysunki CAD i kody budowlane, w celu generowania bezpiecznych i zgodnych z normami wyników.
Google wprowadziło nową przestrzeń nazw w Agents CLI do oceny agentów, wspierającą proces „hill-climbing” – iteracyjne doskonalenie wydajności poprzez testowanie, ocenianie i analizę. Narzędzie pozwala śledzić regresje, porównując ślady działań agentów po zmianach w modelach lub promptach, wykrywając problemy, których nie wyłapują standardowe testy jednostkowe.
Naukowcy wprowadzili Recursive Semantic Divergence (RSD) – nienadzorowaną metrykę, która mierzy i karze niespójność w trajektoriach działania agentów LLM. Stosując RSD jako sygnał nagrody podczas dostrajania (fine-tuning), modele wykazują znacznie bardziej stabilne zachowanie i wyższe wskaźniki sukcesu w zadaniach wykorzystujących narzędzia.
GitHub opublikował ReviewBench, benchmark w fazie podglądu badawczego (research preview), który ma umożliwić porównywanie agentów AI do przeglądu kodu według wspólnego, weryfikowalnego standardu. Zbiór danych obejmuje 219 rzeczywistych publicznych pull requestów w 19 językach i 187 repozytoriach, dobranych tak, by odzwierciedlały rozkład języków i rozmiarów wśród 103,9 mln rzeczywistych pull requestów na GitHubie. Dane referencyjne (ground truth) pochodzą z połączenia recenzentów-ludzi, narzędzi do analizy statycznej oraz kilku czołowych modeli LLM, a ich oceny zweryfikowali starsi inżynierowie, których osądy zgadzały się z etykietami benchmarku w 96,6% przypadków. GitHub twierdzi, że już wykorzystał ReviewBench wewnętrznie do śledzenia własnego produktu Copilot code review (CCR), a zmiany wyników offline wiarygodnie przewidywały kierunek późniejszych testów A/B na produkcji.