Opublikowany niedawno framework badawczy umożliwia symulację grup docelowych użytkowników w celu przeprowadzania kontrolowanych eksperymentów typu „co by było, gdyby”. Dzięki wykorzystaniu agentów opartych na personach, firmy mogą testować chatboty, aplikacje webowe i inne usługi w tempie projektowym, uzyskując dane niezbędne do podejmowania strategicznych decyzji produktowych.
Naukowcy opracowali metodę adaptacji ogólnych, zamrożonych modeli LLM do systemów głosowych full-duplex przy użyciu zaledwie 97 milionów trenowalnych parametrów i 30 godzin pracy procesora GPU. System działa jako kaskada myśliciel-mówca z zegarem ramkowym 80 ms, co pozwala na naturalną zmianę ról w rozmowie, przerywanie i potakiwanie bez konieczności kosztownego trenowania na ogromnych zbiorach danych mowy.
Naukowcy wyznaczyli teoretyczne limity maksymalnego wzrostu nagrody podczas wyrównywania modeli językowych przy ustalonych ograniczeniach dywergencji KL. Wyniki pokazują, że metoda próbkowania „best-of-N” skutecznie zbliża się do tych teoretycznych granic, podczas gdy powszechne metody uczenia przez wzmacnianie, takie jak PPO i GRPO, pozostają obecnie suboptymalne.
Badacze zaproponowali SELD, technikę niewymagającą uczenia, pozwalającą zidentyfikować „cichą utratę dowodów” podczas kompresji długiego kontekstu. Zjawisko to występuje, gdy kluczowe informacje pomocnicze zostają usunięte, pozostawiając odpowiedź technicznie poprawną, ale nieuzasadnioną, co stwarza ryzyko dla systemów wielokrotnie wykorzystujących kontekst.
Badanie obejmujące 25 modeli LLM dostrojonych do domeny biomedycznej pokazuje, że proces adaptacji dziedzinowej często pogarsza zdolność modelu do przyznania się do niewiedzy. Podczas gdy modele bazowe już wcześniej miały trudności z odpowiednim powstrzymaniem się od odpowiedzi, po dostrojeniu zdolność ta spadła w 21 z 25 przypadków.
Badania pokazują, że format pytań wielokrotnego wyboru (MCQ) tłumi zachowania odmawiające w modelach LLM. Eksperymenty na modelach Llama-3.1-8B i Qwen3-8B wykazują, że wymuszenie konkretnej litery odpowiedzi przesuwa aktywacje modelu 3x dalej od kierunku odmowy, co oznacza, że benchmarki bezpieczeństwa oparte na MCQ mogą zawyżać ocenę bezpieczeństwa modelu.
Agenci AI często błędnie interpretują starsze komentarze w kodzie, takie jak TODO lub FIXME, traktując je jako aktualne wytyczne. Badania wykazały, że w 6% sesji programistycznych agenci podejmują niepotrzebne działania dotyczące zamkniętych lub przestarzałych błędów, co prowadzi do wzrostu kosztów i nieplanowanego rozszerzenia zakresu prac (scope creep).
Naukowcy odkryli, że modele LLM wykazują tendencję do udzielania natychmiastowych, często błędnych odpowiedzi w niejednoznacznych sytuacjach, zamiast zadawania pytań wyjaśniających. Wprowadzili BACE (Belief-Aware Critic with Epistemic tracking) – lekką metodę działającą na zamrożonym modelu językowym, która strategicznie decyduje, kiedy poprosić o doprecyzowanie.
Nowa metoda o nazwie FlagRot optymalizuje kwantyzację pamięci podręcznej kluczy-wartości (KV) dla modeli z długim kontekstem. Dzięki selektywnej rotacji segmentów kluczy w oparciu o błąd atencji, zamiast stosowania rotacji globalnej, redukuje utratę dokładności w pamięciach 2-bitowych lub 4-bitowych.
Naukowcy przedstawili SLATE, narzędzie do oceny długoterminowego wyboru API na dużą skalę w środowiskach korporacyjnych. W odróżnieniu od obecnych testów, wymusza on na modelach nawigację wśród około 1000 narzędzi w celu wykonania złożonych zadań.
Nowe badania pokazują, że historię rozumowania można przepisać na kompaktowe rekordy stanu przed wprowadzeniem nowych wyników narzędzi. Metoda ta skutecznie zmniejsza liczbę przyszłych tokenów rozumowania i łączne wydatki na agenta poprzez eliminację zbędnych przemyśleń, bez konieczności douczania modelu.
Google wprowadziło Physical-Engineering's Last Exam (PLE), nowy benchmark stworzony do oceny zdolności agentów AI w inżynierii mechanicznej, elektrycznej, cywilnej i strukturalnej. W przeciwieństwie do standardowych testów akademickich, PLE wymaga od agentów przetwarzania rozbudowanych projektów, obejmujących m.in. rysunki CAD i kody budowlane, w celu generowania bezpiecznych i zgodnych z normami wyników.
Najnowsze badania wykazują, że komercyjne narzędzia do humanizacji tekstu AI, zaprojektowane w celu omijania detektorów AI, często zmieniają lub usuwają istotne fakty, takie jak nazwiska, liczby i daty. Wśród 11 przetestowanych narzędzi, 35-65% dokumentów zawierających szczegóły faktyczne uległo błędom podczas procesu przeredagowywania.
Badania wykazały, że te same instrukcje dotyczące persony prowadzą do różnych zachowań modeli LLM przy przełączaniu się między językiem angielskim a koreańskim. O ile kupujący postępowali zgodnie z wytycznymi w podobny sposób, sprzedający stali się znacznie bardziej ugodowi i uprzejmi w języku koreańskim, co prowadziło do częstszego zawierania umów i niższych cen.
Badacze z Apple zaprezentowali infrastrukturę do uczenia online agentów mobilnych, która rozdziela logikę planowania od interpretacji wizualnej interfejsu. Dzięki zastosowaniu szczegółowych sygnałów zwrotnych od LLM oraz nowej metody GiGPPO, modele te osiągają znacznie lepszą stabilność niż systemy szkolone wyłącznie na statycznych danych.
Najnowsze badania wykazują, że modele językowe nie potrafią adaptować się do ewoluujących preferencji użytkownika, często polegając na nieaktualnych danych historycznych. Chociaż modele dobrze radzą sobie z wyborem strategii w testach wielokrotnego wyboru, podczas generowania otwartego odnotowano spadek kalibracji o 35–46%.
Badacze zaproponowali metodę 'Artifact Distillation', w której zaawansowane modele eksportują swoje procedury rozwiązywania problemów do banku artefaktów. Mniejsze modele odpytują ten bank w czasie rzeczywistym, co pozwala na poprawę ich wyników bez konieczności kosztownego trenowania.
Naukowcy zaproponowali LOTUS, strukturę do wykrywania halucynacji, która wykorzystuje multilinieową dekompozycję niskiego rzędu do wyodrębniania sygnałów z ukrytych warstw LLM. Analizując szczytowe aktywacje i wzorce międzywarstwowe, metoda ta skuteczniej identyfikuje błędne odpowiedzi niż obecne techniki oparte na poolingu.
Naukowcy wprowadzili Recursive Semantic Divergence (RSD) – nienadzorowaną metrykę, która mierzy i karze niespójność w trajektoriach działania agentów LLM. Stosując RSD jako sygnał nagrody podczas dostrajania (fine-tuning), modele wykazują znacznie bardziej stabilne zachowanie i wyższe wskaźniki sukcesu w zadaniach wykorzystujących narzędzia.
IBM Research wydał vLLM-Hook MIA, plugin dla open-source'owego silnika wnioskowania vLLM, który pozwala deweloperom obserwować i ingerować w wewnętrzne stany modelu w czasie działania — np. odrzucać złośliwe prompty, oznaczać zmyślone fakty czy korygować ton odpowiedzi — bez wyłączania szybkiego trybu wykonywania opartego na powtarzaniu grafu w vLLM. Według raportu technicznego IBM, MIA jest nawet 20 razy szybszy niż poprzedni vLLM-Hook i nawet 14 razy szybszy niż metody wstawiające kod bezpośrednio do modelu. W testach sterowanie modelem 8B Llama lub 1,5B Qwen dodawało tylko około 2% opóźnienia, a model 70B Llama - około 6%.
Google Research ogłosił ukończenie ostatniego kamienia milowego otwartego standardu sprzętowego Coral NPU – 32-bitowej architektury RISC-V z nową jednostką Matrix Execution Unit (do 1 TOPS, ok. 10mW) oraz wydał kompilator open-source v1.0 oparty na IREE/MLIR, który przenosi modele z JAX, PyTorch i TensorFlow bezpośrednio na sprzęt. Synaptics wprowadza pierwsze komercyjne chipy oparte na tym standardzie, w tym serię mikrokontrolerów Astra SR200 (400 GOPS) oraz nowe zestawy deweloperskie Coralboard SR i SL, przy czym wersja SL jest już ogólnie dostępna przez DigiKey. Google współpracuje też z VeriSilicon i GlobalFoundries nad wdrożeniem otwartego RTL do produkcji chipów.
Nowe badanie podważa powszechne przekonanie, że los agenta AI wobec ataku prompt injection jest przesądzony w momencie przeczytania złośliwego tekstu. Badacze opracowali metodę rozgałęzionych przebiegów (branching rollouts) na zestawach testowych AgentDojo: powtarzali przebieg agenta do momentu, gdy natrafia na wstrzykniętą instrukcję, a następnie wielokrotnie symulowali dalszy ciąg epizodu, by zmierzyć, ile ostatecznego wyniku było już przesądzone, a ile pozostawało otwarte. Dla agenta Qwen3 bez rozszerzonego rozumowania ('thinking') 91% wyniku było już ustalone w tym momencie; po włączeniu rozumowania wskaźnik ten spadł do 62%, co pokazuje, że decyzja o posłuszeństwie często kształtuje się jeszcze długo po pierwszym kontakcie z atakiem. Włączenie rozumowania obniżyło też skuteczność ataków wobec Qwen3, ale zwiększyło ją dla dwóch innych testowanych modeli, a wyniki benchmarków dla rozumujących agentów różniły się po powtórzeniu testu nawet w 35% przypadków.
AWS udostępnił konektor NIXL typu „push” dla vLLM, zmieniający sposób przesyłania danych pamięci podręcznej klucz-wartość (KV) między instancjami prefill i decode w rozdzielonym serwowaniu LLM. Zamiast pobierania bloków KV przez instancję decode po zakończeniu prefill, instancja decode z wyprzedzeniem rejestruje docelową pamięć, a instancja prefill zapisuje dane KV bezpośrednio, gdy tylko są gotowe — usuwając koordynację ze ścieżki krytycznej. W testach z modelem Qwen3-32B w konfiguracji 1 prefill/1 decode na instancjach EC2 P5en z EFA, tryb push osiągnął nawet 3-krotnie lepszy czas do pierwszego tokenu (TTFT) i nawet o 30% lepszy czas generowania pojedynczego tokenu (TPOT) niż domyślny tryb pull, zwłaszcza przy dużym obciążeniu zapytaniami.
Google Research przedstawił badania nad osadzaniem agentów AI w fizycznej rzeczywistości laboratoryjnej za pomocą systemu cyfrowego bliźniaka o nazwie VERID, który pozwala agentom bezpiecznie planować i wykonywać protokoły robotów do obsługi cieczy. W połączeniu z zamkniętymi cyklami projektowania molekularnego dla aptamerów i białek, agenci uczyli się na podstawie wyników laboratoryjnych, poprawiając wskaźniki skuteczności w kolejnych rundach i ostatecznie odkrywając jednocyfrowe nanomolowe białka wiążące dla celu związanego z nowotworem.