NVIDIA ir Prinstonas pašalino sprendimo kliūtis hibridiniuose SSM modeliuose
Trumpai: NVIDIA kartu su Prinstono universiteto Dao AI Lab sukūrė ReplaySSM — naują būdą saugoti būseną hibridiniuose modeliuose, kurie jungia būsenos erdvės (SSM) sluoksnius su dėmesio (attention) sluoksniais. Užuot perrašius visą būseną kiekviename žingsnyje, metodas laiko periodinį kontrolinį tašką (checkpoint) ir trumpą neseniai gautų įvesčių sąrašą, atskirdamas rezultato skaičiavimą nuo atminties atnaujinimo. Tai sumažina atminties srautą maždaug per pusę, pagreitina dekodavimo branduolius iki 1,80 karto didelėse apkrovose, o spekuliatyvaus dekodavimo pralaidumas daugiau nei padvigubėja 120B dydžio modeliuose, išlaikant tikslumą arti pilno tikslumo lygio. Metodas jau integruotas į TensorRT-LLM, vLLM ir FlashInfer bei veikia produkcijoje su GLM-5.3-Flash ir Kimi-K3.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „NVIDIA Developer“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Būsena saugoma kaip periodinis kontrolinis taškas plius neseniai gautų įvesčių buferis, o ne perrašoma pilnai kiekviename žingsnyje
- 2Būsenos atminties srautas sumažėja maždaug per pusę, nes dauguma žingsnių reikalauja įrašyti tik kontrolinį tašką, o ne visą būseną
- 3Dekodavimo branduoliai veikia 1,46x-1,80x greičiau esant 256 paketo dydžiui Blackwell Ultra B300 GPU; visas dekodavimo žingsnis — 1,20x-1,47x greičiau
- 4Spekuliatyviam dekodavimui nebereikia būsenos nuotraukos kiekvienam juodraščio žetonui, todėl pralaidumas padidėja 1,85x-2,10x 120B dydžio modeliuose esant 512 paketo dydžiui, išlaikant tą patį priėmimo ilgį
- 5Aukšto tikslumo kontrolinis taškas kartu su žemo tikslumo skaitymo kopija leidžia trims iš keturių testuotų modelių likti maždaug 2 punktų ribose nuo FP32 tikslumo GPQA-Diamond teste
- 6Jau integruota į TensorRT-LLM, vLLM ir FlashInfer bei veikia produkcijoje GLM-5.3-Flash ir Kimi-K3 modeliuose
| Parametras | Buvo | Dabar |
|---|---|---|
| Būsenos atminties srautas | Visa būsena skaitoma ir rašoma kiekviename dekodavimo žingsnyje | Kontrolinis taškas skaitomas kiekviename žingsnyje, bet rašomas tik atlikus buferio išpylimą — maždaug perpus mažesnis s |
| Branduolio greitis (256 paketas, B300) | Bazinis vLLM branduolys | 1,46x-1,80x greičiau; visas dekodavimo žingsnis 1,20x-1,47x greičiau |
| Spekuliatyvaus dekodavimo pralaidumas (120B klasė) | Bazinis vLLM spekuliatyvus dekodavimas | 1,85x-2,10x didesnis pralaidumas esant 512 paketo dydžiui, tas pats priėmimo ilgis |
| Kvantavimo tikslumas | Vienos tikslumo klasės būsena linkusi kauptis apvalinimo paklaidoms | 3 iš 4 modelių lieka maždaug 2 punktų ribose nuo FP32 tikslumo GPQA-Diamond teste naudojant dvigubo tikslumo kontrolinį |
Kodėl tai svarbu?
Hibridiniai modeliai, jungiantys SSM ir dėmesio sluoksnius (pvz., Nemotron 3, Qwen3.5, Kimi-K3, GLM-5.3-Flash), vis dažniau naudojami efektyviam ilgo konteksto apdorojimui, tačiau jų SSM sluoksniai tapo tikrąja greičio kliūtimi serveriuose dideliu mastu — šis sprendimas sugrąžina didelę dalį greičio pranašumo, dėl kurio SSM iš pradžių buvo sukurti, ir pagaliau padaro spekuliatyvų dekodavimą naudingą tokioms architektūroms.
Šaltiniai
- NVIDIA DeveloperOficialusPirminis šaltinisOriginalus straipsnis →„ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding“2026-10-12 19:00
- Šaltinio publikavimo data
- 2026-10-12 19:00
- Mūsų sistema rado
- 2026-10-12 19:10
- Santrauka sugeneruota
- 2026-10-12 19:12
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas