NVIDIA ir Prinstonas pašalino sprendimo kliūtis hibridiniuose SSM modeliuose
NVIDIA kartu su Prinstono universiteto Dao AI Lab sukūrė ReplaySSM — naują būdą saugoti būseną hibridiniuose modeliuose, kurie jungia būsenos erdvės (SSM) sluoksnius su dėmesio (attention) sluoksniais. Užuot perrašius visą būseną kiekviename žingsnyje, metodas laiko periodinį kontrolinį tašką (checkpoint) ir trumpą neseniai gautų įvesčių sąrašą, atskirdamas rezultato skaičiavimą nuo atminties atnaujinimo. Tai sumažina atminties srautą maždaug per pusę, pagreitina dekodavimo branduolius iki 1,80 karto didelėse apkrovose, o spekuliatyvaus dekodavimo pralaidumas daugiau nei padvigubėja 120B dydžio modeliuose, išlaikant tikslumą arti pilno tikslumo lygio. Metodas jau integruotas į TensorRT-LLM, vLLM ir FlashInfer bei veikia produkcijoje su GLM-5.3-Flash ir Kimi-K3.