Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja

Badania AI

Prace naukowe, benchmarki, architektury, rozumowanie i metody trenowania.

“Inference” — 14 artykułów ✕

Badania· Ważne· 🧪 Warte przetestowania

Pomiar kosztów odmów LLM za pomocą istniejących logów

Nowa metoda przyczynowa o nazwie RAW (Refusal Aversion in the Wild) wykorzystuje stochastyczność LLM do mierzenia, jak często odmowy odpowiedzi prowadzą do porzucenia platformy przez użytkowników. Dzięki analizie logów z interakcji możesz określić dokładny wpływ odmów na późniejsze zaangażowanie użytkowników.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Kontrola zachowania LLM poprzez optymalizację danych wejściowych

Naukowcy przedstawili ActGCG, metodę pozwalającą na replikację efektów sterowania aktywacją (activation steering)—co zazwyczaj wymaga dostępu do wnętrza modelu—poprzez optymalizację sufiksów wejściowych. Technika ta pozwala na odtworzenie specyficznych zachowań, takich jak wymuszanie konkretnego języka, jedynie za pomocą zewnętrznych danych wejściowych.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Odkryto matematyczne granice wyrównywania modeli językowych

Naukowcy wyznaczyli teoretyczne limity maksymalnego wzrostu nagrody podczas wyrównywania modeli językowych przy ustalonych ograniczeniach dywergencji KL. Wyniki pokazują, że metoda próbkowania „best-of-N” skutecznie zbliża się do tych teoretycznych granic, podczas gdy powszechne metody uczenia przez wzmacnianie, takie jak PPO i GRPO, pozostają obecnie suboptymalne.

Apple Machine Learning
Badania· Ważne· 🧪 Warte przetestowania

Technika FlagRot poprawia precyzję niskobitowej pamięci podręcznej KV

Nowa metoda o nazwie FlagRot optymalizuje kwantyzację pamięci podręcznej kluczy-wartości (KV) dla modeli z długim kontekstem. Dzięki selektywnej rotacji segmentów kluczy w oparciu o błąd atencji, zamiast stosowania rotacji globalnej, redukuje utratę dokładności w pamięciach 2-bitowych lub 4-bitowych.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Kompresja historii rozumowania obniża koszty agentów AI

Nowe badania pokazują, że historię rozumowania można przepisać na kompaktowe rekordy stanu przed wprowadzeniem nowych wyników narzędzi. Metoda ta skutecznie zmniejsza liczbę przyszłych tokenów rozumowania i łączne wydatki na agenta poprzez eliminację zbędnych przemyśleń, bez konieczności douczania modelu.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Skalowalne uczenie przez wzmacnianie dla mobilnych agentów interfejsu

Badacze z Apple zaprezentowali infrastrukturę do uczenia online agentów mobilnych, która rozdziela logikę planowania od interpretacji wizualnej interfejsu. Dzięki zastosowaniu szczegółowych sygnałów zwrotnych od LLM oraz nowej metody GiGPPO, modele te osiągają znacznie lepszą stabilność niż systemy szkolone wyłącznie na statycznych danych.

Apple Machine Learning
Badania· Ważne· 🧪 Warte przetestowania

Przycinanie zbędnych głowic atencji ogranicza zapamiętywanie danych w LLM

Najnowsze badania pokazują, że wiele głowic atencji w dużych modelach językowych jest zbędnych i bezpośrednio przyczynia się do dosłownego powielania danych treningowych. Dzięki selektywnemu wyłączaniu tych głowic podczas wnioskowania, naukowcy osiągnęli 91,5% redukcję incydentów zapamiętywania przy jednoczesnej poprawie wydajności w standardowych testach porównawczych.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Artifact Distillation: zwiększanie wydajności małych modeli bez douczania

Badacze zaproponowali metodę 'Artifact Distillation', w której zaawansowane modele eksportują swoje procedury rozwiązywania problemów do banku artefaktów. Mniejsze modele odpytują ten bank w czasie rzeczywistym, co pozwala na poprawę ich wyników bez konieczności kosztownego trenowania.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

TraceQuery optymalizuje inferencję w dyfuzyjnych modelach językowych

Naukowcy opracowali TraceQuery, framework rzadkiego (sparse) dekodowania, który redukuje koszty obliczeniowe dyfuzyjnych dużych modeli językowych (dLLM). Poprzez analizę trajektorii odszumiania, metoda selektywnie przelicza tylko niezbędne reprezentacje tokenów zamiast wykonywać zbędne operacje, zachowując wysoką dokładność przy mniejszym zapotrzebowaniu na moc obliczeniową.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Plugin IBM pozwala vLLM monitorować i sterować LLM w czasie rzeczywistym niemal bez spowolnienia

IBM Research wydał vLLM-Hook MIA, plugin dla open-source'owego silnika wnioskowania vLLM, który pozwala deweloperom obserwować i ingerować w wewnętrzne stany modelu w czasie działania — np. odrzucać złośliwe prompty, oznaczać zmyślone fakty czy korygować ton odpowiedzi — bez wyłączania szybkiego trybu wykonywania opartego na powtarzaniu grafu w vLLM. Według raportu technicznego IBM, MIA jest nawet 20 razy szybszy niż poprzedni vLLM-Hook i nawet 14 razy szybszy niż metody wstawiające kod bezpośrednio do modelu. W testach sterowanie modelem 8B Llama lub 1,5B Qwen dodawało tylko około 2% opóźnienia, a model 70B Llama - około 6%.

IBM Research
Badania· Ważne

Google ukończył otwartą architekturę edge-AI Coral NPU i kompilator, pojawiły się pierwsze komercyjne chipy

Google Research ogłosił ukończenie ostatniego kamienia milowego otwartego standardu sprzętowego Coral NPU – 32-bitowej architektury RISC-V z nową jednostką Matrix Execution Unit (do 1 TOPS, ok. 10mW) oraz wydał kompilator open-source v1.0 oparty na IREE/MLIR, który przenosi modele z JAX, PyTorch i TensorFlow bezpośrednio na sprzęt. Synaptics wprowadza pierwsze komercyjne chipy oparte na tym standardzie, w tym serię mikrokontrolerów Astra SR200 (400 GOPS) oraz nowe zestawy deweloperskie Coralboard SR i SL, przy czym wersja SL jest już ogólnie dostępna przez DigiKey. Google współpracuje też z VeriSilicon i GlobalFoundries nad wdrożeniem otwartego RTL do produkcji chipów.

Google Developers
Badania· Ważne· 🧪 Warte przetestowania

AWS wprowadza przesyłanie KV typu „push”, skracające opóźnienia w rozdzielonej infrastrukturze vLLM

AWS udostępnił konektor NIXL typu „push” dla vLLM, zmieniający sposób przesyłania danych pamięci podręcznej klucz-wartość (KV) między instancjami prefill i decode w rozdzielonym serwowaniu LLM. Zamiast pobierania bloków KV przez instancję decode po zakończeniu prefill, instancja decode z wyprzedzeniem rejestruje docelową pamięć, a instancja prefill zapisuje dane KV bezpośrednio, gdy tylko są gotowe — usuwając koordynację ze ścieżki krytycznej. W testach z modelem Qwen3-32B w konfiguracji 1 prefill/1 decode na instancjach EC2 P5en z EFA, tryb push osiągnął nawet 3-krotnie lepszy czas do pierwszego tokenu (TTFT) i nawet o 30% lepszy czas generowania pojedynczego tokenu (TPOT) niż domyślny tryb pull, zwłaszcza przy dużym obciążeniu zapytaniami.

AWS Machine Learning
Badania· Ważne

IBM pokazuje, że agenci AI oparte na otwartych modelach mogą obniżyć koszty projektowania chipów ponad 11-krotnie

IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.

IBM Research
Badania· Ważne· 🧪 Warte przetestowania

„Priming” od Amazon zamienia wstępnie wytrenowane modele Transformer w wydajne hybrydy za mniej niż 1% kosztu treningu

Badacze z Amazon Web Services opublikowali metodę „priming”, która przekształca wstępnie wytrenowane modele Transformer w architektury hybrydowe łączące warstwy uwagi (attention) i modeli przestrzeni stanów (SSM), wykorzystując istniejące wagi zamiast treningu od zera. Podejście obniża koszty wstępnego treningu o ponad 99% i pozwala 32-miliardowemu modelowi hybrydowemu dorównać jakością źródłowemu modelowi Transformer, dekodując nawet dwukrotnie szybciej. Amazon przetestował trzy typy SSM i udostępnił otwartoźródłowy zestaw modeli, kod treningowy oraz narzędzia na licencji Apache 2.0.

Amazon Science