Agenci AI często błędnie interpretują starsze komentarze w kodzie, takie jak TODO lub FIXME, traktując je jako aktualne wytyczne. Badania wykazały, że w 6% sesji programistycznych agenci podejmują niepotrzebne działania dotyczące zamkniętych lub przestarzałych błędów, co prowadzi do wzrostu kosztów i nieplanowanego rozszerzenia zakresu prac (scope creep).
Google wprowadziło Physical-Engineering's Last Exam (PLE), nowy benchmark stworzony do oceny zdolności agentów AI w inżynierii mechanicznej, elektrycznej, cywilnej i strukturalnej. W przeciwieństwie do standardowych testów akademickich, PLE wymaga od agentów przetwarzania rozbudowanych projektów, obejmujących m.in. rysunki CAD i kody budowlane, w celu generowania bezpiecznych i zgodnych z normami wyników.
Badacze z Apple zaprezentowali infrastrukturę do uczenia online agentów mobilnych, która rozdziela logikę planowania od interpretacji wizualnej interfejsu. Dzięki zastosowaniu szczegółowych sygnałów zwrotnych od LLM oraz nowej metody GiGPPO, modele te osiągają znacznie lepszą stabilność niż systemy szkolone wyłącznie na statycznych danych.
Naukowcy wprowadzili Recursive Semantic Divergence (RSD) – nienadzorowaną metrykę, która mierzy i karze niespójność w trajektoriach działania agentów LLM. Stosując RSD jako sygnał nagrody podczas dostrajania (fine-tuning), modele wykazują znacznie bardziej stabilne zachowanie i wyższe wskaźniki sukcesu w zadaniach wykorzystujących narzędzia.
Badacze Apple ML opublikowali artykuł na NeurIPS wprowadzający SELFCOMPACT – strukturę pozwalającą agentom opartym na modelach językowych samodzielnie decydować, kiedy i jak kompaktować zgromadzony kontekst, zamiast polegać na kompaktyzacji wyzwalanej w stałych odstępach na podstawie liczby tokenów. Metoda łączy narzędzie kompaktyzacji wywoływane przez model z lekkim zestawem reguł wskazujących, kiedy działać (gdy podzadanie zostało rozwiązane) i kiedy wstrzymać się (w trakcie wyprowadzania lub przy utknięciu). Testowana na sześciu benchmarkach i siedmiu modelach, dorównała lub przewyższyła kompaktyzację w stałych odstępach, zużywając znacznie mniej tokenów.
GitHub opublikował ReviewBench, benchmark w fazie podglądu badawczego (research preview), który ma umożliwić porównywanie agentów AI do przeglądu kodu według wspólnego, weryfikowalnego standardu. Zbiór danych obejmuje 219 rzeczywistych publicznych pull requestów w 19 językach i 187 repozytoriach, dobranych tak, by odzwierciedlały rozkład języków i rozmiarów wśród 103,9 mln rzeczywistych pull requestów na GitHubie. Dane referencyjne (ground truth) pochodzą z połączenia recenzentów-ludzi, narzędzi do analizy statycznej oraz kilku czołowych modeli LLM, a ich oceny zweryfikowali starsi inżynierowie, których osądy zgadzały się z etykietami benchmarku w 96,6% przypadków. GitHub twierdzi, że już wykorzystał ReviewBench wewnętrznie do śledzenia własnego produktu Copilot code review (CCR), a zmiany wyników offline wiarygodnie przewidywały kierunek późniejszych testów A/B na produkcji.