AWS ir i14 atsisako KV talpyklos: 3B parametrų linijinio dėmesio modelis Trainium2 lustuose
Trumpai: Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1GPU specifinis Triton branduolys GLA skaičiavimams perrašytas paprastu PyTorch kodu, sekas skaidant į 16 blokų po 128 tokenus, kad kiekvienas blokas atitiktų Trainium2 SBUF atminties segmentus
- 2Muon optimizatoriaus tarp-rangų komunikacija pertvarkyta naudojant dvigubą all_to_all mainą, sumažinant duomenų srautą kiekvienam rangui 24 kartus ir padidinant mokymo greitį 1,63 karto
- 316 žingsnių GLA atgalinio perdavimo etapas buvo pilnai išvyniotas kompiliavimo metu, kad statinis Trainium2 kompiliatorius galėtų apdoroti nuoseklią rekurenciją neviršydamas atminties ir planavimo ribų
- 4Kadangi pasikartojanti būsena neauga, prailginus užklausą nuo 2 048 iki 8 192 tokenų kaina už vieną išvesties tokeną padidėjo vos puse procento, o fiksuota būsena yra apie 82 kartus mažesnė nei lygiavertė KV talpykla esant 8 192 tokenų kontekstui
| Parametras | Buvo | Dabar |
|---|---|---|
| Architektūra | Transformerių softmax dėmesys su auganti KV talpykla | Gated Linear Attention (GLA) su fiksuoto dydžio pasikartojančia būsena |
| Parametrai | Nenurodyta | 3,028B (2,718B Muon + 309,6M AdamW) |
| Atmintis vienai sekai | KV talpykla auga su konteksto ilgiu | Fiksuota 29,5 MB pasikartojanti būsena nepriklausomai nuo konteksto ilgio |
| Mokymo greitis | 73 378 tokenų/s (gather-broadcast Muon) | 119 934 tokenų/s (all_to_all Muon), ~120 000 tokenų/s iš viso trn2.48xlarge serveryje |
| Išvesties greitis | Nenurodyta | 11 544 išvesties tokenai per sekundę esant 1 280 lygiagrečių sekų |
| Konteksto langas | 2 048 mokymo sekos ilgis | Testuota iki 8 192 tokenų, pridedant tik 0,5% papildomų kaštų už išvesties tokeną |
Kodėl tai svarbu?
Auganti KV talpykla riboja, kiek pokalbio ar dokumento istorijos LLM gali pigiai išlaikyti ilgų sesijų metu. Modelis su pastoviu atminties pėdsaku kiekvienai sekai galėtų palaikyti ilgiau veikiančius agentus ir dokumentų analizę be įprastų atminties bei kaštų apribojimų, tačiau informacijos atgaminimo kokybė lyginant su pilnu dėmesio mechanizmu vis dar turi būti vertinama kiekvienu konkrečiu atveju.
Ką tai reiškia AI agentams ir kontaktų centrams?
Komandoms, kuriančioms balso agentus ar kontaktų centrų botus, kuriems reikia išlaikyti ilgą skambučių istoriją ar daug konteksto viso pokalbio metu, ši architektūra rodo kelią, kaip išlaikyti pastovų atminties pėdsaką ir skaičiavimo kaštus didėjant kontekstui, o ne augant proporcingai pokalbio ilgiui; prieš diegiant, verta palyginti atgaminimo tikslumą su savo transkripcijomis prieš dabartinį transformerių modelį, taip pat išmatuoti delsą ir kainą už minutę.
🧪 Verta testuoti
Pastovus atminties ir kaštų augimas, nepriklausantis nuo konteksto ilgio, tiesiogiai aktualus ilgoms balso/kontaktų centrų sesijoms, tačiau atgaminimo kokybę, lyginant su pilnu dėmesio mechanizmu, reikia patikrinti su realiomis skambučių transkripcijomis prieš perjungiant.
Šaltiniai
- AWS Machine LearningOficialusPirminis šaltinisOriginalus straipsnis →„Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch“2026-10-21 00:14
- Šaltinio publikavimo data
- 2026-10-21 00:14
- Mūsų sistema rado
- 2026-10-21 00:16
- Santrauka sugeneruota
- 2026-10-21 00:19
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas