NVIDIA i Princeton eliminują wąskie gardła dekodowania w hybrydowych modelach SSM
W skrócie: NVIDIA wraz z Dao AI Lab z Princeton opracowały ReplaySSM — nowy sposób przechowywania stanu w modelach hybrydowych, które łączą warstwy state-space (SSM) z warstwami uwagi (attention). Zamiast przepisywać cały stan w każdym kroku, metoda utrzymuje okresowy punkt kontrolny (checkpoint) oraz krótką listę ostatnich wejść, oddzielając obliczanie wyniku od aktualizacji pamięci. Efektem jest niemal dwukrotnie mniejszy ruch pamięci, przyspieszenie jąder dekodowania nawet 1,80-krotnie przy dużych partiach oraz ponad dwukrotny wzrost przepustowości dekodowania spekulacyjnego w modelach klasy 120B, przy zachowaniu dokładności zbliżonej do pełnej precyzji. Metoda jest już zintegrowana z TensorRT-LLM, vLLM i FlashInfer oraz działa produkcyjnie w GLM-5.3-Flash i Kimi-K3.
To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „NVIDIA Developer”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.
Co się zmieniło?
- 1Stan przechowywany jest jako okresowy punkt kontrolny plus bufor ostatnich wejść, zamiast być w pełni przepisywany w każdym kroku
- 2Ruch pamięci stanu spada o około połowę, bo w większości kroków wystarczy zapisać sam punkt kontrolny, a nie cały stan
- 3Jądra dekodowania działają 1,46x-1,80x szybciej przy rozmiarze partii 256 na GPU Blackwell Ultra B300; cały krok dekodowania jest 1,20x-1,47x szybszy
- 4Dekodowanie spekulacyjne nie wymaga już migawki stanu dla każdego tokena roboczego, co daje 1,85x-2,10x wyższą przepustowość w modelach klasy 120B przy rozmiarze partii 512, przy tej samej długości akceptacji
- 5Punkt kontrolny o wysokiej precyzji połączony z kopią do odczytu o niskiej precyzji pozwala trzem z czterech testowanych modeli pozostać w granicach około 2 punktów dokładności FP32 w teście GPQA-Diamond
- 6Już zintegrowane z TensorRT-LLM, vLLM i FlashInfer oraz działa produkcyjnie w modelach GLM-5.3-Flash i Kimi-K3
| Parametr | Było | Jest |
|---|---|---|
| Ruch pamięci stanu | Cały stan odczytywany i zapisywany w każdym kroku dekodowania | Punkt kontrolny odczytywany w każdym kroku, zapisywany tylko przy opróżnieniu bufora — ruch mniejszy o około połowę |
| Szybkość jądra (partia 256, B300) | Bazowe jądro vLLM | 1,46x-1,80x szybciej; cały krok dekodowania 1,20x-1,47x szybciej |
| Przepustowość dekodowania spekulacyjnego (klasa 120B) | Bazowe dekodowanie spekulacyjne vLLM | 1,85x-2,10x wyższa przepustowość przy rozmiarze partii 512, ta sama długość akceptacji |
| Dokładność kwantyzacji | Stan o jednej precyzji podatny na kumulację błędów zaokrągleń | 3 z 4 modeli pozostają w granicach ok. 2 punktów dokładności FP32 w teście GPQA-Diamond dzięki podwójnej precyzji punktu |
Dlaczego to ważne?
Modele hybrydowe łączące warstwy SSM i uwagi (np. Nemotron 3, Qwen3.5, Kimi-K3, GLM-5.3-Flash) są coraz częściej wykorzystywane do efektywnego przetwarzania długiego kontekstu, jednak ich warstwy SSM stały się faktycznym wąskim gardłem przy obsłudze na dużą skalę — to rozwiązanie przywraca dużą część przewagi prędkości, dla której SSM pierwotnie zaprojektowano, i wreszcie czyni dekodowanie spekulacyjne użytecznym dla takich architektur.
Źródła
- NVIDIA DeveloperOficjalneŹródło pierwotneOryginalny artykuł →„ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding“12 paź 2026, 19:00
- Data publikacji źródła
- 12 paź 2026, 19:00
- Znalezione przez nasz system
- 12 paź 2026, 19:10
- Podsumowanie wygenerowano
- 12 paź 2026, 19:12
Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność