Naukowcy odkryli, że modele LLM wykazują tendencję do udzielania natychmiastowych, często błędnych odpowiedzi w niejednoznacznych sytuacjach, zamiast zadawania pytań wyjaśniających. Wprowadzili BACE (Belief-Aware Critic with Epistemic tracking) – lekką metodę działającą na zamrożonym modelu językowym, która strategicznie decyduje, kiedy poprosić o doprecyzowanie.
Nowa metoda o nazwie FlagRot optymalizuje kwantyzację pamięci podręcznej kluczy-wartości (KV) dla modeli z długim kontekstem. Dzięki selektywnej rotacji segmentów kluczy w oparciu o błąd atencji, zamiast stosowania rotacji globalnej, redukuje utratę dokładności w pamięciach 2-bitowych lub 4-bitowych.
Naukowcy przedstawili SLATE, narzędzie do oceny długoterminowego wyboru API na dużą skalę w środowiskach korporacyjnych. W odróżnieniu od obecnych testów, wymusza on na modelach nawigację wśród około 1000 narzędzi w celu wykonania złożonych zadań.
Nowe badania pokazują, że historię rozumowania można przepisać na kompaktowe rekordy stanu przed wprowadzeniem nowych wyników narzędzi. Metoda ta skutecznie zmniejsza liczbę przyszłych tokenów rozumowania i łączne wydatki na agenta poprzez eliminację zbędnych przemyśleń, bez konieczności douczania modelu.
Naukowcy opracowali metodę obliczania teoretycznej górnej granicy wydajności spekulatywnego dekodowania wielowariantowego (MDSD) poprzez rozwiązanie dualnego problemu transportu optymalnego. Badanie wykazuje, że obecne algorytmy weryfikacji często nie osiągają tego teoretycznego limitu, a próbkowanie bez zwracania (sampling without replacement) znacząco poprawia wskaźniki akceptacji w porównaniu do próbkowania ze zwracaniem.
Badania wykazały, że te same instrukcje dotyczące persony prowadzą do różnych zachowań modeli LLM przy przełączaniu się między językiem angielskim a koreańskim. O ile kupujący postępowali zgodnie z wytycznymi w podobny sposób, sprzedający stali się znacznie bardziej ugodowi i uprzejmi w języku koreańskim, co prowadziło do częstszego zawierania umów i niższych cen.
Badacze z Apple zaprezentowali infrastrukturę do uczenia online agentów mobilnych, która rozdziela logikę planowania od interpretacji wizualnej interfejsu. Dzięki zastosowaniu szczegółowych sygnałów zwrotnych od LLM oraz nowej metody GiGPPO, modele te osiągają znacznie lepszą stabilność niż systemy szkolone wyłącznie na statycznych danych.
Najnowsze badania pokazują, że wiele głowic atencji w dużych modelach językowych jest zbędnych i bezpośrednio przyczynia się do dosłownego powielania danych treningowych. Dzięki selektywnemu wyłączaniu tych głowic podczas wnioskowania, naukowcy osiągnęli 91,5% redukcję incydentów zapamiętywania przy jednoczesnej poprawie wydajności w standardowych testach porównawczych.
Najnowsze badania wykazują, że modele językowe nie potrafią adaptować się do ewoluujących preferencji użytkownika, często polegając na nieaktualnych danych historycznych. Chociaż modele dobrze radzą sobie z wyborem strategii w testach wielokrotnego wyboru, podczas generowania otwartego odnotowano spadek kalibracji o 35–46%.