Przejdź do treści
piątek, 20 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Evaluation — 6 artykułów ✕

Agenci· Ważne· 🧪 Warte przetestowania

AWS wprowadza niezależną od frameworka ocenę agentów AI

Amazon udostępnił Universal Agent Evaluation Framework (UAEF) – otwartoźródłowe narzędzie standaryzujące ocenę agentów AI. Dzięki adapterom, ślady wykonania z różnych frameworków, takich jak LangChain czy LangGraph, są normalizowane do jednego formatu, co pozwala na spójne testowanie w oparciu o 36 metryk w 7 wymiarach.

AWS Machine Learning
Agenci· Ważne· 🧪 Warte przetestowania

Amazon Bedrock AgentCore dodaje natywne wsparcie dla DeepEval i AutoEval

Amazon Bedrock AgentCore oferuje teraz szeroki katalog wbudowanych, zewnętrznych i własnych ewaluatorów do monitorowania zachowania agentów w środowisku produkcyjnym. Platforma umożliwia uruchamianie metryk z bibliotek DeepEval i AutoEval w środowisku zarządzanym, wspierając testy na żądanie, w czasie rzeczywistym oraz wsadowe.

AWS Machine Learning
Agenci· Ważne· 🧪 Warte przetestowania

Automatyzacja optymalizacji agentów z NVIDIA NeMo

NVIDIA wprowadziła workflow pozwalający na przekształcenie błędów agentów wykrytych w środowisku produkcyjnym w ustrukturyzowane testy przy użyciu NeMo Compass i NeMo Eval Author. Proces ten analizuje logi, identyfikuje powtarzające się problemy, generuje celowane testy i waliduje wprowadzane poprawki.

NVIDIA Developer
Badania· Ważne· 🧪 Warte przetestowania

Google prezentuje benchmark dla agentów AI w inżynierii

Google wprowadziło Physical-Engineering's Last Exam (PLE), nowy benchmark stworzony do oceny zdolności agentów AI w inżynierii mechanicznej, elektrycznej, cywilnej i strukturalnej. W przeciwieństwie do standardowych testów akademickich, PLE wymaga od agentów przetwarzania rozbudowanych projektów, obejmujących m.in. rysunki CAD i kody budowlane, w celu generowania bezpiecznych i zgodnych z normami wyników.

Google Cloud AI
Agenci· Ważne· 🧪 Warte przetestowania

Automatyczna ocena jakości agentów AI

Google wprowadziło nową przestrzeń nazw w Agents CLI do oceny agentów, wspierającą proces „hill-climbing” – iteracyjne doskonalenie wydajności poprzez testowanie, ocenianie i analizę. Narzędzie pozwala śledzić regresje, porównując ślady działań agentów po zmianach w modelach lub promptach, wykrywając problemy, których nie wyłapują standardowe testy jednostkowe.

Google Developers
Badania· Ważne· 🧪 Warte przetestowania

Nowa metryka poprawia niezawodność agentów LLM poprzez uczenie spójności

Naukowcy wprowadzili Recursive Semantic Divergence (RSD) – nienadzorowaną metrykę, która mierzy i karze niespójność w trajektoriach działania agentów LLM. Stosując RSD jako sygnał nagrody podczas dostrajania (fine-tuning), modele wykazują znacznie bardziej stabilne zachowanie i wyższe wskaźniki sukcesu w zadaniach wykorzystujących narzędzia.

arXiv cs.CL