„Amazon“ „Priming“ metodas paverčia iš anksto apmokytus Transformer modelius efektyviais hibridais už mažiau nei 1% mokymo kainos
Trumpai: „Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Amazon Science“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1„Priming“ paverčia dėmesio sluoksnius į SSM sluoksnius, panaudodamas mažiau nei 0,5% originalaus modelio mokymo žetonų biudžeto
- 2Iš išbandytų SSM tipų „Gated KalmaNet“ (GKA) pranoko „Gated DeltaNet“ (GDN) ir „Mamba-2“
- 332B GKA hibridinis modelis pasiekia iki 1% tikslumo skirtumą nuo originalaus Transformer, naudodamas perpus mažesnę KV talpyklą
- 4SSM pagrįsti hibridai pranoko slankiojo lango dėmesio (SWA) hibridus net turėdami 2-4 kartus mažiau atminties
- 5GKA leidžia reguliuoti skaičiavimo apimtį vykdymo metu (pvz., 10 vs 30 iteracijų), paaukojant ~1% tikslumo dėl 10% greitesnio dekodavimo
- 6Atvirai paskelbtas 8B ir 32B modelių rinkinys, mokymo kodas, optimizuoti branduoliai ir vLLM papildinys pagal Apache 2.0 licenciją
| Parametras | Buvo | Dabar |
|---|---|---|
| Mokymo kaina lyginant su mokymu nuo nulio | 100% (pilnas mokymas) | Mažiau nei 1% (iki 0,5% žetonų biudžeto) |
| Pralaidumas | 1x (originalus Transformer) | Iki 2x esant 128 000 žetonų kontekstui |
| KV talpyklos dydis | Pilna dėmesio talpykla | Perpus mažesnė KV talpykla (32B GKA hibridas) |
| Testuotas konteksto ilgis | Nenurodyta | 128 000 žetonų |
| Licencija | Nenurodyta | Apache 2.0 |
Kodėl tai svarbu?
Hibridinės architektūros sumažina atminties ir skaičiavimo sąnaudas ilgo konteksto išvadoms, kas tiesiogiai veikia vėlavimą ir pralaidumą programoms, dirbančioms su ilgais pokalbiais, samprotavimo grandinėmis ar dideliais dokumentais – tai pagrindinė kliūtis plečiant AI agentus.
Ką tai reiškia AI agentams ir kontaktų centrams?
Komandoms, vykdančioms ilgas balso agentų sesijas, dirbančioms su dideliais skambučių nuorašais ar samprotavimu pagrįsta automatizacija, šie atviri, efektyvūs hibridiniai modeliai galėtų pasiūlyti mažesnį vėlavimą ir kainą už žetoną esant panašiam tikslumui kaip standartiniai LLM – verta išbandyti lyginant su esamais STT/LLM srautais dėl pralaidumo ir konteksto apdorojimo lietuvių ar kitomis mažesnėmis kalbomis.
🧪 Verta testuoti
Atvirai paskelbti 8B/32B hibridiniai modeliai pagal Apache 2.0 žada iki 2 kartų didesnį pralaidumą ir mažesnį atminties poreikį esant panašiai kokybei, todėl jie yra praktiškas kandidatas testuoti vėlavimui jautriems, ilgo konteksto balso ir automatizavimo darbo krūviams.
Priming (hybrid state space models from pretrained Transformers)· Nauja
Šaltiniai
- Amazon ScienceOficialusPirminis šaltinisOriginalus straipsnis →„Can we change an AI model’s architecture without retraining it from scratch?“2026-10-12 20:36
- Šaltinio publikavimo data
- 2026-10-12 20:36
- Mūsų sistema rado
- 2026-10-12 20:40
- Santrauka sugeneruota
- 2026-10-12 20:42
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas