Przejdź do treści
piątek, 20 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Evaluation — 9 artykułów ✕

Agenci· Ważne· 🧪 Warte przetestowania

AWS wprowadza niezależną od frameworka ocenę agentów AI

Amazon udostępnił Universal Agent Evaluation Framework (UAEF) – otwartoźródłowe narzędzie standaryzujące ocenę agentów AI. Dzięki adapterom, ślady wykonania z różnych frameworków, takich jak LangChain czy LangGraph, są normalizowane do jednego formatu, co pozwala na spójne testowanie w oparciu o 36 metryk w 7 wymiarach.

AWS Machine Learning
Agenci· Ważne· 🧪 Warte przetestowania

Amazon Bedrock AgentCore dodaje natywne wsparcie dla DeepEval i AutoEval

Amazon Bedrock AgentCore oferuje teraz szeroki katalog wbudowanych, zewnętrznych i własnych ewaluatorów do monitorowania zachowania agentów w środowisku produkcyjnym. Platforma umożliwia uruchamianie metryk z bibliotek DeepEval i AutoEval w środowisku zarządzanym, wspierając testy na żądanie, w czasie rzeczywistym oraz wsadowe.

AWS Machine Learning
Badania· 🧪 Warte przetestowania

Nowy benchmark pokazuje, że celność wyszukiwania nie jest równa pamięci długokontekstowej

Opublikowano nowy benchmark Simple Retrieval-Reconstruction Memory (SRRM), mający na celu lepszą ocenę wydajności długokontekstowej w małych modelach językowych (SLM). Wyniki pokazują, że wraz ze wzrostem długości kontekstu zdolność modelu do rekonstrukcji informacji pogarsza się znacznie szybciej niż jego zdolność do wyszukiwania konkretnych faktów, co dowodzi, że standardowe testy wyszukiwania nie wystarczają do oceny pamięci.

arXiv cs.CL
Agenci· Ważne· 🧪 Warte przetestowania

Automatyzacja optymalizacji agentów z NVIDIA NeMo

NVIDIA wprowadziła workflow pozwalający na przekształcenie błędów agentów wykrytych w środowisku produkcyjnym w ustrukturyzowane testy przy użyciu NeMo Compass i NeMo Eval Author. Proces ten analizuje logi, identyfikuje powtarzające się problemy, generuje celowane testy i waliduje wprowadzane poprawki.

NVIDIA Developer
Badania· Ważne· 🧪 Warte przetestowania

Google prezentuje benchmark dla agentów AI w inżynierii

Google wprowadziło Physical-Engineering's Last Exam (PLE), nowy benchmark stworzony do oceny zdolności agentów AI w inżynierii mechanicznej, elektrycznej, cywilnej i strukturalnej. W przeciwieństwie do standardowych testów akademickich, PLE wymaga od agentów przetwarzania rozbudowanych projektów, obejmujących m.in. rysunki CAD i kody budowlane, w celu generowania bezpiecznych i zgodnych z normami wyników.

Google Cloud AI
Agenci· Ważne· 🧪 Warte przetestowania

Automatyczna ocena jakości agentów AI

Google wprowadziło nową przestrzeń nazw w Agents CLI do oceny agentów, wspierającą proces „hill-climbing” – iteracyjne doskonalenie wydajności poprzez testowanie, ocenianie i analizę. Narzędzie pozwala śledzić regresje, porównując ślady działań agentów po zmianach w modelach lub promptach, wykrywając problemy, których nie wyłapują standardowe testy jednostkowe.

Google Developers
Badania· Ważne· 🧪 Warte przetestowania

Nowa metryka poprawia niezawodność agentów LLM poprzez uczenie spójności

Naukowcy wprowadzili Recursive Semantic Divergence (RSD) – nienadzorowaną metrykę, która mierzy i karze niespójność w trajektoriach działania agentów LLM. Stosując RSD jako sygnał nagrody podczas dostrajania (fine-tuning), modele wykazują znacznie bardziej stabilne zachowanie i wyższe wskaźniki sukcesu w zadaniach wykorzystujących narzędzia.

arXiv cs.CL
Agenci· 🧪 Warte przetestowania

Siemens z NVIDIA NeMo Gym poprawia szybkość i dokładność agentów do projektowania chipów

NVIDIA opublikowała studium przypadku pokazujące, jak Siemens EDA wykorzystał otwartą bibliotekę ewaluacyjną NeMo Gym, by usprawnić agenta do charakteryzacji chipów. Zamiast sprawdzać pojedyncze wywołania narzędzi, zespół oceniał kompletne pliki wynikowe za pomocą wyspecjalizowanego weryfikatora, a wzorce błędów wykorzystał do przepisania instrukcji umiejętności agenta i opisów narzędzi MCP. Po kilku rundach tej pętli łączny wynik benchmarku wzrósł z około 55% do 95%, a agent potrzebował znacznie mniej kroków i mniej danych wyjściowych. W eksperymentach wykorzystano około 25 przebiegów ewaluacyjnych z Claude Opus 4.8 jako modelem agenta działającym w Claude Code.

NVIDIA Developer
Badania· Ważne· 🧪 Warte przetestowania

GitHub udostępnia ReviewBench — wspólny standard oceny agentów AI do przeglądu kodu

GitHub opublikował ReviewBench, benchmark w fazie podglądu badawczego (research preview), który ma umożliwić porównywanie agentów AI do przeglądu kodu według wspólnego, weryfikowalnego standardu. Zbiór danych obejmuje 219 rzeczywistych publicznych pull requestów w 19 językach i 187 repozytoriach, dobranych tak, by odzwierciedlały rozkład języków i rozmiarów wśród 103,9 mln rzeczywistych pull requestów na GitHubie. Dane referencyjne (ground truth) pochodzą z połączenia recenzentów-ludzi, narzędzi do analizy statycznej oraz kilku czołowych modeli LLM, a ich oceny zweryfikowali starsi inżynierowie, których osądy zgadzały się z etykietami benchmarku w 96,6% przypadków. GitHub twierdzi, że już wykorzystał ReviewBench wewnętrznie do śledzenia własnego produktu Copilot code review (CCR), a zmiany wyników offline wiarygodnie przewidywały kierunek późniejszych testów A/B na produkcji.

GitHub