Laplace 3B

Pakeitimų istorija

2026-10-21

AWS ir i14 atsisako KV talpyklos: 3B parametrų linijinio dėmesio modelis Trainium2 lustuose

Parametras	Buvo	Dabar
Architektūra	Transformerių softmax dėmesys su auganti KV talpykla	Gated Linear Attention (GLA) su fiksuoto dydžio pasikartojančia būsena
Parametrai	Nenurodyta	3,028B (2,718B Muon + 309,6M AdamW)
Atmintis vienai sekai	KV talpykla auga su konteksto ilgiu	Fiksuota 29,5 MB pasikartojanti būsena nepriklausomai nuo konteksto ilgio
Mokymo greitis	73 378 tokenų/s (gather-broadcast Muon)	119 934 tokenų/s (all_to_all Muon), ~120 000 tokenų/s iš viso trn2.48xlarge serveryje
Išvesties greitis	Nenurodyta	11 544 išvesties tokenai per sekundę esant 1 280 lygiagrečių sekų
Konteksto langas	2 048 mokymo sekos ilgis	Testuota iki 8 192 tokenų, pridedant tik 0,5% papildomų kaštų už išvesties tokeną

Naujienos

Modeliai· Svarbu· 🧪 Verta testuoti

AWS ir i14 atsisako KV talpyklos: 3B parametrų linijinio dėmesio modelis Trainium2 lustuose

Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.

prieš 2 val.AWS Machine Learning