NVIDIA i Princeton eliminują wąskie gardła dekodowania w hybrydowych modelach SSM
NVIDIA wraz z Dao AI Lab z Princeton opracowały ReplaySSM — nowy sposób przechowywania stanu w modelach hybrydowych, które łączą warstwy state-space (SSM) z warstwami uwagi (attention). Zamiast przepisywać cały stan w każdym kroku, metoda utrzymuje okresowy punkt kontrolny (checkpoint) oraz krótką listę ostatnich wejść, oddzielając obliczanie wyniku od aktualizacji pamięci. Efektem jest niemal dwukrotnie mniejszy ruch pamięci, przyspieszenie jąder dekodowania nawet 1,80-krotnie przy dużych partiach oraz ponad dwukrotny wzrost przepustowości dekodowania spekulacyjnego w modelach klasy 120B, przy zachowaniu dokładności zbliżonej do pełnej precyzji. Metoda jest już zintegrowana z TensorRT-LLM, vLLM i FlashInfer oraz działa produkcyjnie w GLM-5.3-Flash i Kimi-K3.