Nowa metoda przyczynowa o nazwie RAW (Refusal Aversion in the Wild) wykorzystuje stochastyczność LLM do mierzenia, jak często odmowy odpowiedzi prowadzą do porzucenia platformy przez użytkowników. Dzięki analizie logów z interakcji możesz określić dokładny wpływ odmów na późniejsze zaangażowanie użytkowników.
Naukowcy przedstawili ActGCG, metodę pozwalającą na replikację efektów sterowania aktywacją (activation steering)—co zazwyczaj wymaga dostępu do wnętrza modelu—poprzez optymalizację sufiksów wejściowych. Technika ta pozwala na odtworzenie specyficznych zachowań, takich jak wymuszanie konkretnego języka, jedynie za pomocą zewnętrznych danych wejściowych.
Naukowcy wyznaczyli teoretyczne limity maksymalnego wzrostu nagrody podczas wyrównywania modeli językowych przy ustalonych ograniczeniach dywergencji KL. Wyniki pokazują, że metoda próbkowania „best-of-N” skutecznie zbliża się do tych teoretycznych granic, podczas gdy powszechne metody uczenia przez wzmacnianie, takie jak PPO i GRPO, pozostają obecnie suboptymalne.
Nowa metoda o nazwie FlagRot optymalizuje kwantyzację pamięci podręcznej kluczy-wartości (KV) dla modeli z długim kontekstem. Dzięki selektywnej rotacji segmentów kluczy w oparciu o błąd atencji, zamiast stosowania rotacji globalnej, redukuje utratę dokładności w pamięciach 2-bitowych lub 4-bitowych.
Nowe badania pokazują, że historię rozumowania można przepisać na kompaktowe rekordy stanu przed wprowadzeniem nowych wyników narzędzi. Metoda ta skutecznie zmniejsza liczbę przyszłych tokenów rozumowania i łączne wydatki na agenta poprzez eliminację zbędnych przemyśleń, bez konieczności douczania modelu.
Badacze z Apple zaprezentowali infrastrukturę do uczenia online agentów mobilnych, która rozdziela logikę planowania od interpretacji wizualnej interfejsu. Dzięki zastosowaniu szczegółowych sygnałów zwrotnych od LLM oraz nowej metody GiGPPO, modele te osiągają znacznie lepszą stabilność niż systemy szkolone wyłącznie na statycznych danych.
Najnowsze badania pokazują, że wiele głowic atencji w dużych modelach językowych jest zbędnych i bezpośrednio przyczynia się do dosłownego powielania danych treningowych. Dzięki selektywnemu wyłączaniu tych głowic podczas wnioskowania, naukowcy osiągnęli 91,5% redukcję incydentów zapamiętywania przy jednoczesnej poprawie wydajności w standardowych testach porównawczych.
Badacze zaproponowali metodę 'Artifact Distillation', w której zaawansowane modele eksportują swoje procedury rozwiązywania problemów do banku artefaktów. Mniejsze modele odpytują ten bank w czasie rzeczywistym, co pozwala na poprawę ich wyników bez konieczności kosztownego trenowania.
Naukowcy opracowali TraceQuery, framework rzadkiego (sparse) dekodowania, który redukuje koszty obliczeniowe dyfuzyjnych dużych modeli językowych (dLLM). Poprzez analizę trajektorii odszumiania, metoda selektywnie przelicza tylko niezbędne reprezentacje tokenów zamiast wykonywać zbędne operacje, zachowując wysoką dokładność przy mniejszym zapotrzebowaniu na moc obliczeniową.
IBM Research wydał vLLM-Hook MIA, plugin dla open-source'owego silnika wnioskowania vLLM, który pozwala deweloperom obserwować i ingerować w wewnętrzne stany modelu w czasie działania — np. odrzucać złośliwe prompty, oznaczać zmyślone fakty czy korygować ton odpowiedzi — bez wyłączania szybkiego trybu wykonywania opartego na powtarzaniu grafu w vLLM. Według raportu technicznego IBM, MIA jest nawet 20 razy szybszy niż poprzedni vLLM-Hook i nawet 14 razy szybszy niż metody wstawiające kod bezpośrednio do modelu. W testach sterowanie modelem 8B Llama lub 1,5B Qwen dodawało tylko około 2% opóźnienia, a model 70B Llama - około 6%.
Google Research ogłosił ukończenie ostatniego kamienia milowego otwartego standardu sprzętowego Coral NPU – 32-bitowej architektury RISC-V z nową jednostką Matrix Execution Unit (do 1 TOPS, ok. 10mW) oraz wydał kompilator open-source v1.0 oparty na IREE/MLIR, który przenosi modele z JAX, PyTorch i TensorFlow bezpośrednio na sprzęt. Synaptics wprowadza pierwsze komercyjne chipy oparte na tym standardzie, w tym serię mikrokontrolerów Astra SR200 (400 GOPS) oraz nowe zestawy deweloperskie Coralboard SR i SL, przy czym wersja SL jest już ogólnie dostępna przez DigiKey. Google współpracuje też z VeriSilicon i GlobalFoundries nad wdrożeniem otwartego RTL do produkcji chipów.
AWS udostępnił konektor NIXL typu „push” dla vLLM, zmieniający sposób przesyłania danych pamięci podręcznej klucz-wartość (KV) między instancjami prefill i decode w rozdzielonym serwowaniu LLM. Zamiast pobierania bloków KV przez instancję decode po zakończeniu prefill, instancja decode z wyprzedzeniem rejestruje docelową pamięć, a instancja prefill zapisuje dane KV bezpośrednio, gdy tylko są gotowe — usuwając koordynację ze ścieżki krytycznej. W testach z modelem Qwen3-32B w konfiguracji 1 prefill/1 decode na instancjach EC2 P5en z EFA, tryb push osiągnął nawet 3-krotnie lepszy czas do pierwszego tokenu (TTFT) i nawet o 30% lepszy czas generowania pojedynczego tokenu (TPOT) niż domyślny tryb pull, zwłaszcza przy dużym obciążeniu zapytaniami.
IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.
Badacze z Amazon Web Services opublikowali metodę „priming”, która przekształca wstępnie wytrenowane modele Transformer w architektury hybrydowe łączące warstwy uwagi (attention) i modeli przestrzeni stanów (SSM), wykorzystując istniejące wagi zamiast treningu od zera. Podejście obniża koszty wstępnego treningu o ponad 99% i pozwala 32-miliardowemu modelowi hybrydowemu dorównać jakością źródłowemu modelowi Transformer, dekodując nawet dwukrotnie szybciej. Amazon przetestował trzy typy SSM i udostępnił otwartoźródłowy zestaw modeli, kod treningowy oraz narzędzia na licencji Apache 2.0.