Google uruchomiło ujednolicony system obserwowalności dla agentów AI, zintegrowany bezpośrednio z platformami BigQuery i Looker. Rozwiązanie umożliwia programistom przesyłanie logów i telemetrii z agentów własnych oraz zewnętrznych (np. LangGraph) do własnych tabel w BigQuery w celu monitorowania wydajności, oceny jakości i zarządzania kosztami.
Amazon udostępnił Universal Agent Evaluation Framework (UAEF) – otwartoźródłowe narzędzie standaryzujące ocenę agentów AI. Dzięki adapterom, ślady wykonania z różnych frameworków, takich jak LangChain czy LangGraph, są normalizowane do jednego formatu, co pozwala na spójne testowanie w oparciu o 36 metryk w 7 wymiarach.
Mistral AI wprowadziło znaczące aktualizacje do Mistral Studio, platformy zaprojektowanej do przenoszenia projektów AI z etapu pilotażowego do produkcji. Nowości obejmują zarządzanych agentów, zaawansowaną orkiestrację procesów (workflow) oraz monitoring klasy korporacyjnej, umożliwiając wdrażanie w chmurze, VPC lub lokalnie.
Firma NVIDIA udostępniła w modelu open-source narzędzie „NVIDIA Attribution”, służące do korelowania logów, metryk i stanów harmonogramu w ustrukturyzowane diagnozy dla rozproszonych zadań uczenia AI. Poprzez identyfikację przyczyn źródłowych i oddzielanie ich od symptomów wtórnych (takich jak błędy NCCL), pomaga ono zespołom infrastrukturalnym w skuteczniejszym zarządzaniu dużymi klastrami GPU.
NVIDIA zaprezentowała Minerva, platformę operacyjną łączącą telemetrię z GPU, sprzętu sieciowego, pamięci masowej i uruchomionych zadań, aby operatorzy mogli wykrywać problemy w ogromnych klastrach GPU, zanim doprowadzą one do przestojów. Modele uczenia maszynowego tworzą na bieżąco mapę sprzętu i obciążeń, oznaczają nietypowe zachowania i grupują powiązane alerty w jeden incydent z prawdopodobną przyczyną, zamiast zalewać zespoły osobnymi powiadomieniami. Wbudowany asystent pozwala pytać o stan klastra w języku naturalnym, a system może łączyć się z narzędziami automatyzacji, by wdrażać poprawki. IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI i Tesla planują jej wdrożenie, a Dell, Lenovo i Supermicro będą oferować ją w ramach swoich rozwiązań infrastrukturalnych.
AWS opublikował framework zarządzania o nazwie Trust in Depth, mający umożliwić agentom AI działanie z większą autonomią przy zachowaniu egzekwowalnych ograniczeń. Łączy on określanie zakresu uprawnień agenta przed wdrożeniem, nadawanie każdemu agentowi weryfikowalnej tożsamości, egzekwowanie granic w czasie działania poprzez bramki polityk oraz obserwację zachowania agenta po fakcie. Framework opiera się na automatycznym wnioskowaniu (dowodzie matematycznym) dla precyzyjnie określonych reguł oraz na ludzkim osądzie w niejednoznacznych przypadkach, wykorzystując narzędzia AWS: Bedrock AgentCore, Guardrails, Kiro, Strands, Agent Registry i CloudWatch Omni.
Google przedstawił AQuA (Ambient Quality Agent) – narzędzie działające nieprzerwanie obok produkcyjnych agentów AI w projekcie Google Cloud, wykrywające awarie niewidoczne w logach ani kontrolach stanu, takie jak pominięte kroki walidacji czy utracony kontekst między pod-agentami. Narzędzie pobiera losowe próbki śladów sesji produkcyjnych, ocenia je według listy kontrolnej, grupuje powtarzające się wzorce błędów, weryfikuje klastry na podstawie pełnych transkrypcji i śledzi ich status w czasie jako nowe, powtarzające się lub rozwiązane. Na żądanie może także prześledzić przyczynę błędu aż do konkretnej linii kodu lub promptu, korzystając z niezmiennego zrzutu kodu źródłowego zarejestrowanego w momencie wdrożenia.