Badacze wprowadzili „estymator pełnego bloku” (full-block estimator), aby zoptymalizować dostrajanie modeli językowych typu Masked Diffusion (MDLM). Poprzez ocenę każdego bloku dokładnie raz w trakcie trenowania, metoda ta eliminuje wariancję wynikającą z losowego doboru bloków.
Naukowcy zaproponowali nową metodę szkolenia o nazwie Self-Disagreement, która poprawia zdolność modelu do oceny własnych argumentów. Zamiast polegać na opiniach ludzi czy zewnętrznych modelach nagród, agent generuje własne kontrargumenty i uczy się poprzez ich weryfikację.
Naukowcy przedstawili ActGCG, metodę pozwalającą na replikację efektów sterowania aktywacją (activation steering)—co zazwyczaj wymaga dostępu do wnętrza modelu—poprzez optymalizację sufiksów wejściowych. Technika ta pozwala na odtworzenie specyficznych zachowań, takich jak wymuszanie konkretnego języka, jedynie za pomocą zewnętrznych danych wejściowych.
Opublikowany niedawno framework badawczy umożliwia symulację grup docelowych użytkowników w celu przeprowadzania kontrolowanych eksperymentów typu „co by było, gdyby”. Dzięki wykorzystaniu agentów opartych na personach, firmy mogą testować chatboty, aplikacje webowe i inne usługi w tempie projektowym, uzyskując dane niezbędne do podejmowania strategicznych decyzji produktowych.
Naukowcy opracowali metodę adaptacji ogólnych, zamrożonych modeli LLM do systemów głosowych full-duplex przy użyciu zaledwie 97 milionów trenowalnych parametrów i 30 godzin pracy procesora GPU. System działa jako kaskada myśliciel-mówca z zegarem ramkowym 80 ms, co pozwala na naturalną zmianę ról w rozmowie, przerywanie i potakiwanie bez konieczności kosztownego trenowania na ogromnych zbiorach danych mowy.
Naukowcy wyznaczyli teoretyczne limity maksymalnego wzrostu nagrody podczas wyrównywania modeli językowych przy ustalonych ograniczeniach dywergencji KL. Wyniki pokazują, że metoda próbkowania „best-of-N” skutecznie zbliża się do tych teoretycznych granic, podczas gdy powszechne metody uczenia przez wzmacnianie, takie jak PPO i GRPO, pozostają obecnie suboptymalne.
Badacze wykazali, że wstępne tworzenie docelowych stanów ukrytych znacząco wpływa na jakość aktualizacji wiedzy w LLM. Dzięki zastosowaniu metody regularyzacji L1 do przycinania zbędnych komponentów wektorów wiedzy, podejście to redukuje interferencję podczas edycji parametrów, umożliwiając bardziej precyzyjne wprowadzanie wiedzy.
Badacze zaproponowali SELD, technikę niewymagającą uczenia, pozwalającą zidentyfikować „cichą utratę dowodów” podczas kompresji długiego kontekstu. Zjawisko to występuje, gdy kluczowe informacje pomocnicze zostają usunięte, pozostawiając odpowiedź technicznie poprawną, ale nieuzasadnioną, co stwarza ryzyko dla systemów wielokrotnie wykorzystujących kontekst.