BadaniaNVIDIA Developer · 12 paź 2026
NVIDIA i Princeton eliminują wąskie gardła dekodowania w hybrydowych modelach SSM
| Parametr | Było | Jest |
|---|---|---|
| Ruch pamięci stanu | Cały stan odczytywany i zapisywany w każdym kroku dekodowania | Punkt kontrolny odczytywany w każdym kroku, zapisywany tylko przy opróżnieniu bufora — ruch mniejszy o około połowę |
| Szybkość jądra (partia 256, B300) | Bazowe jądro vLLM | 1,46x-1,80x szybciej; cały krok dekodowania 1,20x-1,47x szybciej |
| Przepustowość dekodowania spekulacyjnego (klasa 120B) | Bazowe dekodowanie spekulacyjne vLLM | 1,85x-2,10x wyższa przepustowość przy rozmiarze partii 512, ta sama długość akceptacji |
| Dokładność kwantyzacji | Stan o jednej precyzji podatny na kumulację błędów zaokrągleń | 3 z 4 modeli pozostają w granicach ok. 2 punktów dokładności FP32 w teście GPQA-Diamond dzięki podwójnej precyzji punktu |