Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja

Badania AI

Prace naukowe, benchmarki, architektury, rozumowanie i metody trenowania.

“Inference” — 24 artykuły ✕

Badania· Ważne· 🧪 Warte przetestowania

Pomiar kosztów odmów LLM za pomocą istniejących logów

Nowa metoda przyczynowa o nazwie RAW (Refusal Aversion in the Wild) wykorzystuje stochastyczność LLM do mierzenia, jak często odmowy odpowiedzi prowadzą do porzucenia platformy przez użytkowników. Dzięki analizie logów z interakcji możesz określić dokładny wpływ odmów na późniejsze zaangażowanie użytkowników.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Kontrola zachowania LLM poprzez optymalizację danych wejściowych

Naukowcy przedstawili ActGCG, metodę pozwalającą na replikację efektów sterowania aktywacją (activation steering)—co zazwyczaj wymaga dostępu do wnętrza modelu—poprzez optymalizację sufiksów wejściowych. Technika ta pozwala na odtworzenie specyficznych zachowań, takich jak wymuszanie konkretnego języka, jedynie za pomocą zewnętrznych danych wejściowych.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Odkryto matematyczne granice wyrównywania modeli językowych

Naukowcy wyznaczyli teoretyczne limity maksymalnego wzrostu nagrody podczas wyrównywania modeli językowych przy ustalonych ograniczeniach dywergencji KL. Wyniki pokazują, że metoda próbkowania „best-of-N” skutecznie zbliża się do tych teoretycznych granic, podczas gdy powszechne metody uczenia przez wzmacnianie, takie jak PPO i GRPO, pozostają obecnie suboptymalne.

Apple Machine Learning
Badania· Ważne· 🧪 Warte przetestowania

Technika FlagRot poprawia precyzję niskobitowej pamięci podręcznej KV

Nowa metoda o nazwie FlagRot optymalizuje kwantyzację pamięci podręcznej kluczy-wartości (KV) dla modeli z długim kontekstem. Dzięki selektywnej rotacji segmentów kluczy w oparciu o błąd atencji, zamiast stosowania rotacji globalnej, redukuje utratę dokładności w pamięciach 2-bitowych lub 4-bitowych.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Kompresja historii rozumowania obniża koszty agentów AI

Nowe badania pokazują, że historię rozumowania można przepisać na kompaktowe rekordy stanu przed wprowadzeniem nowych wyników narzędzi. Metoda ta skutecznie zmniejsza liczbę przyszłych tokenów rozumowania i łączne wydatki na agenta poprzez eliminację zbędnych przemyśleń, bez konieczności douczania modelu.

arXiv cs.CL
Badania· 🧪 Warte przetestowania

Optymalizacja wydajności spekulatywnego dekodowania wielowariantowego

Naukowcy opracowali metodę obliczania teoretycznej górnej granicy wydajności spekulatywnego dekodowania wielowariantowego (MDSD) poprzez rozwiązanie dualnego problemu transportu optymalnego. Badanie wykazuje, że obecne algorytmy weryfikacji często nie osiągają tego teoretycznego limitu, a próbkowanie bez zwracania (sampling without replacement) znacząco poprawia wskaźniki akceptacji w porównaniu do próbkowania ze zwracaniem.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Skalowalne uczenie przez wzmacnianie dla mobilnych agentów interfejsu

Badacze z Apple zaprezentowali infrastrukturę do uczenia online agentów mobilnych, która rozdziela logikę planowania od interpretacji wizualnej interfejsu. Dzięki zastosowaniu szczegółowych sygnałów zwrotnych od LLM oraz nowej metody GiGPPO, modele te osiągają znacznie lepszą stabilność niż systemy szkolone wyłącznie na statycznych danych.

Apple Machine Learning
Badania· Ważne· 🧪 Warte przetestowania

Przycinanie zbędnych głowic atencji ogranicza zapamiętywanie danych w LLM

Najnowsze badania pokazują, że wiele głowic atencji w dużych modelach językowych jest zbędnych i bezpośrednio przyczynia się do dosłownego powielania danych treningowych. Dzięki selektywnemu wyłączaniu tych głowic podczas wnioskowania, naukowcy osiągnęli 91,5% redukcję incydentów zapamiętywania przy jednoczesnej poprawie wydajności w standardowych testach porównawczych.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Artifact Distillation: zwiększanie wydajności małych modeli bez douczania

Badacze zaproponowali metodę 'Artifact Distillation', w której zaawansowane modele eksportują swoje procedury rozwiązywania problemów do banku artefaktów. Mniejsze modele odpytują ten bank w czasie rzeczywistym, co pozwala na poprawę ich wyników bez konieczności kosztownego trenowania.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

TraceQuery optymalizuje inferencję w dyfuzyjnych modelach językowych

Naukowcy opracowali TraceQuery, framework rzadkiego (sparse) dekodowania, który redukuje koszty obliczeniowe dyfuzyjnych dużych modeli językowych (dLLM). Poprzez analizę trajektorii odszumiania, metoda selektywnie przelicza tylko niezbędne reprezentacje tokenów zamiast wykonywać zbędne operacje, zachowując wysoką dokładność przy mniejszym zapotrzebowaniu na moc obliczeniową.

arXiv cs.CL

Naujaki od Apple: GHARP dla animacji głów 3D w czasie rzeczywistym

Firma Apple zaprezentowała GHARP, nową metodę animowania ludzkich głów 3D w czasie rzeczywistym z wykorzystaniem dwuetapowego podejścia Gaussian Splatting. Dzięki rozdzieleniu statycznej rekonstrukcji tożsamości od lekkiego, zoptymalizowanego pod kątem urządzeń mobilnych przewidywania mimiki, model osiąga wiodące wyniki w benchmarku Ava-256 przy wysokiej wydajności obliczeniowej.

Apple Machine Learning

NVIDIA i Uniwersytet Waszyngtoński prezentują RFD4-Proteina do szybszego projektowania białek z AI

Zespół NVIDIA BioNeMo wspólnie z Institute for Protein Design na Uniwersytecie Waszyngtońskim zaprezentował RFD4-Proteina – model, który w jednym kroku generuje zarówno sekwencję białka, jak i pełną strukturę atomową, eliminując oddzielny etap inverse-folding stosowany we wcześniejszych rozwiązaniach. Dzięki pracy na reprezentacji na poziomie reszt (residue-level) oraz uproszczonemu procesowi dyfuzji, model wymaga tylko około 60 kroków odszumiania zamiast wcześniejszych ok. 400, co przekłada się na wyraźnie szybsze generowanie i znacznie mniejsze zużycie pamięci niż poprzednik RFD3 przy generowaniu białka o 200 resztach. Podczas generowania model może także prowadzić wyszukiwanie sterowane nagrodą (reward-guided search), które ocenia i rozwija częściowe projekty za pomocą narzędzi przyspieszanych przez GPU, takich jak OpenFold3 i TMol. Model jest dostępny zarówno jako otwarty model na GitHub, jak i jako mikroserwis NIM z interfejsem HTTP, a dedykowane narzędzia pozwalają zautomatyzowanym agentom łączyć etapy generowania, wyszukiwania i oceny.

NVIDIA Developer
Badania· Ważne· 🧪 Warte przetestowania

Plugin IBM pozwala vLLM monitorować i sterować LLM w czasie rzeczywistym niemal bez spowolnienia

IBM Research wydał vLLM-Hook MIA, plugin dla open-source'owego silnika wnioskowania vLLM, który pozwala deweloperom obserwować i ingerować w wewnętrzne stany modelu w czasie działania — np. odrzucać złośliwe prompty, oznaczać zmyślone fakty czy korygować ton odpowiedzi — bez wyłączania szybkiego trybu wykonywania opartego na powtarzaniu grafu w vLLM. Według raportu technicznego IBM, MIA jest nawet 20 razy szybszy niż poprzedni vLLM-Hook i nawet 14 razy szybszy niż metody wstawiające kod bezpośrednio do modelu. W testach sterowanie modelem 8B Llama lub 1,5B Qwen dodawało tylko około 2% opóźnienia, a model 70B Llama - około 6%.

IBM Research

NVIDIA prezentuje Cosmos3-H-Dreams – generatywny symulator chirurgii czasu rzeczywistego

NVIDIA wydała Cosmos3-H-Dreams, model fundamentowy świata (world foundation model), który generuje interaktywne sceny chirurgiczne w czasie rzeczywistym na podstawie kinematyki robota z rzeczywistych zabiegów cholecystektomii zarejestrowanych na platformie CMR Surgical Versius. Model zbudowany na bazie 16-miliardowego modelu Cosmos3-H-Embodied-Nano i przyspieszony biblioteką strumieniowego wnioskowania FlashDreams firmy NVIDIA działa na pojedynczym GPU RTX PRO 6000. System uczy się wizualnej dynamiki chirurgicznej bezpośrednio z danych wideo i kinematyki, zamiast jawnego modelowania fizyki, i oferuje destylowane punkty kontrolne czterokrokowe i dwukrokowe, pozwalające wybrać kompromis między jakością a szybkością.

Hugging Face
Badania· Ważne

Google ukończył otwartą architekturę edge-AI Coral NPU i kompilator, pojawiły się pierwsze komercyjne chipy

Google Research ogłosił ukończenie ostatniego kamienia milowego otwartego standardu sprzętowego Coral NPU – 32-bitowej architektury RISC-V z nową jednostką Matrix Execution Unit (do 1 TOPS, ok. 10mW) oraz wydał kompilator open-source v1.0 oparty na IREE/MLIR, który przenosi modele z JAX, PyTorch i TensorFlow bezpośrednio na sprzęt. Synaptics wprowadza pierwsze komercyjne chipy oparte na tym standardzie, w tym serię mikrokontrolerów Astra SR200 (400 GOPS) oraz nowe zestawy deweloperskie Coralboard SR i SL, przy czym wersja SL jest już ogólnie dostępna przez DigiKey. Google współpracuje też z VeriSilicon i GlobalFoundries nad wdrożeniem otwartego RTL do produkcji chipów.

Google Developers
Badania· Ważne· 🧪 Warte przetestowania

AWS wprowadza przesyłanie KV typu „push”, skracające opóźnienia w rozdzielonej infrastrukturze vLLM

AWS udostępnił konektor NIXL typu „push” dla vLLM, zmieniający sposób przesyłania danych pamięci podręcznej klucz-wartość (KV) między instancjami prefill i decode w rozdzielonym serwowaniu LLM. Zamiast pobierania bloków KV przez instancję decode po zakończeniu prefill, instancja decode z wyprzedzeniem rejestruje docelową pamięć, a instancja prefill zapisuje dane KV bezpośrednio, gdy tylko są gotowe — usuwając koordynację ze ścieżki krytycznej. W testach z modelem Qwen3-32B w konfiguracji 1 prefill/1 decode na instancjach EC2 P5en z EFA, tryb push osiągnął nawet 3-krotnie lepszy czas do pierwszego tokenu (TTFT) i nawet o 30% lepszy czas generowania pojedynczego tokenu (TPOT) niż domyślny tryb pull, zwłaszcza przy dużym obciążeniu zapytaniami.

AWS Machine Learning

Apple pokazuje modele klasy biliona parametrów działające lokalnie na klastrach Mac Studio z MLX

Zespół MLX firmy Apple opublikował testy wydajności pokazujące, że duże modele open-weight — w tym model MoE o niemal bilionie parametrów o nazwie Muse Spark Open — działają na sprzęcie Mac Studio, zarówno na pojedynczej maszynie, jak i rozproszone na do czterech Mac Studio dzięki nowemu sterownikowi RDMA over Thunderbolt. Nowy chip M5 Ultra, z dedykowanymi GPU Neural Accelerators i przepustowością pamięci 1,2 TB/s, osiąga do 4,6 razy szybszy czas do pierwszego tokena i 1,6 razy szybszą generację w porównaniu z poprzednim M3 Ultra. Dla modeli zbyt dużych, by zmieścić się na jednej maszynie, MLX obsługuje teraz równoległość potokową i tensorową na wielu Makach połączonych przez Thunderbolt RDMA, pozwalając klastrowi czterech Mac Studio generować ponad 36 tokenów na sekundę dla modelu o 816 mld parametrów.

Apple Machine Learning
Badania· 🧪 Warte przetestowania

AWS udostępnia open source'owe optymalizacje kerneli MoE dla vLLM – mniejsze opóźnienia i wyższa przepustowość na H200

AWS przedstawił trzy optymalizacje na poziomie kerneli dla obsługi modeli Mixture-of-Experts (MoE) na GPU Hopper, opracowane we współpracy ze społecznością vLLM i wdrożone w kontenerze LMI Amazon SageMaker AI. Zmiany eliminują nieefektywność obliczeń fused MoE podczas fazy dekodowania z małymi partiami, gdzie wcześniej rdzenie Tensor Core były niedostatecznie wykorzystywane. Łącznie optymalizacje dają do 10% wyższą przepustowość i do 9% szybszy czas do pierwszego tokena (TTFT).

AWS Machine Learning
Badania· Ważne

IBM pokazuje, że agenci AI oparte na otwartych modelach mogą obniżyć koszty projektowania chipów ponad 11-krotnie

IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.

IBM Research

Badacze Apple proponują zamianę bezczynnych GPU w Makach we wspólny klaster do wnioskowania

Nowy artykuł badawczy Apple przedstawia Minions – system łączący niewykorzystaną moc GPU w komputerach Mac z chipami Apple Silicon w jedną rozproszoną chmurę do uruchamiania wnioskowania modeli uczenia maszynowego. Zamiast kupować dodatkowy sprzęt GPU, zespoły mogłyby wykorzystać wolną moc obliczeniową już posiadanych urządzeń z macOS. Autorzy twierdzą, że system zapewnia planowanie zadań, odporność na awarie i efektywne wykorzystanie zasobów, oferując alternatywę, gdy dedykowanych zasobów GPU brakuje lub są drogie.

Apple Machine Learning
Badania· Ważne· 🧪 Warte przetestowania

„Priming” od Amazon zamienia wstępnie wytrenowane modele Transformer w wydajne hybrydy za mniej niż 1% kosztu treningu

Badacze z Amazon Web Services opublikowali metodę „priming”, która przekształca wstępnie wytrenowane modele Transformer w architektury hybrydowe łączące warstwy uwagi (attention) i modeli przestrzeni stanów (SSM), wykorzystując istniejące wagi zamiast treningu od zera. Podejście obniża koszty wstępnego treningu o ponad 99% i pozwala 32-miliardowemu modelowi hybrydowemu dorównać jakością źródłowemu modelowi Transformer, dekodując nawet dwukrotnie szybciej. Amazon przetestował trzy typy SSM i udostępnił otwartoźródłowy zestaw modeli, kod treningowy oraz narzędzia na licencji Apache 2.0.

Amazon Science

NVIDIA i Princeton eliminują wąskie gardła dekodowania w hybrydowych modelach SSM

NVIDIA wraz z Dao AI Lab z Princeton opracowały ReplaySSM — nowy sposób przechowywania stanu w modelach hybrydowych, które łączą warstwy state-space (SSM) z warstwami uwagi (attention). Zamiast przepisywać cały stan w każdym kroku, metoda utrzymuje okresowy punkt kontrolny (checkpoint) oraz krótką listę ostatnich wejść, oddzielając obliczanie wyniku od aktualizacji pamięci. Efektem jest niemal dwukrotnie mniejszy ruch pamięci, przyspieszenie jąder dekodowania nawet 1,80-krotnie przy dużych partiach oraz ponad dwukrotny wzrost przepustowości dekodowania spekulacyjnego w modelach klasy 120B, przy zachowaniu dokładności zbliżonej do pełnej precyzji. Metoda jest już zintegrowana z TensorRT-LLM, vLLM i FlashInfer oraz działa produkcyjnie w GLM-5.3-Flash i Kimi-K3.

NVIDIA Developer

NVIDIA otwiera architekturę stojaków Vera Rubin i promuje otwarte standardy dla centrów danych AI

Podczas OCP Global Summit NVIDIA przekazała projekty stojaków i tac obliczeniowych Vera Rubin do otwartej architektury MGX oraz ogłosiła szereg partnerstw dotyczących zasilania, chłodzenia i standardów sieciowych dla fabryk AI. Wśród partnerów są hiperskalowi gracze tacy jak Meta, Google, Microsoft i AMD, a także Cisco i Visionbay. Ogłoszenia obejmują specyfikacje stojaków (MGX 1.2), nowe oprogramowanie open source do zarządzania centrami danych AI (komponenty DSX OS), standardy odporności sieci energetycznej, architekturę zasilania 800V DC, nowe przełączanie Ethernet (Spectrum-6) oraz nowy standard modułów optycznych (USFP) wspólnie z Cisco.

NVIDIA

Google pokazuje, jak przyspieszyć uwagę w dyfuzji wideo na TPU 2,4x

Inżynierowie Google opisują, jak zaimplementowali rzadką uwagę przestrzenno-czasową (sparse spatio-temporal attention) dla modeli dyfuzji wideo na chipach TPU v6e, przekształcając teoretyczną rzadkość podejścia Sparse VideoGen (SVG) w realne przyspieszenia sprzętowe. Dzięki serii optymalizacji kernela (specjalizacja kafelków pełnych/brzegowych, strojenie rozmiaru kafelków oraz wyrównanie kafelków maski) zredukowali opóźnienie kernela uwagi z 96,37ms (naiwna wersja rzadka) do 32,76ms, co daje 2,40x przyspieszenie względem gęstej Splash Attention na pojedynczym chipie TPU v6e, przy 75,6K tokenów, 10 głowicach i wymiarze głowicy 128.

Google Developers