„Google“ atnaujino „MaxText“: palaikomas 14 mln. žetonų konteksto mokymas
Trumpai: „Google“ atnaujino atvirojo kodo „JAX“ mokymo sistemą „MaxText“, kad būtų galima treniruoti didelius kalbų modelius (LLM) su itin ilgomis sekomis naudojant „Cloud TPU“. Įdiegus keturias konteksto paralelizavimo strategijas, dabar įmanoma efektyviai treniruoti modelius su iki 14 mln. žetonų, įveikiant atminties ir skaičiavimo ribojimus.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Google Developers“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Pristatytos keturios konteksto paralelizavimo strategijos: „All-gather“, „A2A“ (Ulysses), „P2P“ (Ring Attention) ir „A2A+P2P“ (USP).
- 2Suderinamumas su „TPU 5p“ ir „TPU 7“ aparatine įranga.
- 3Palaikomi iki 14 mln. žetonų sekos ilgiai.
- 4Integruoti „Tokamax Splash Attention“ branduoliai efektyviam blokiniam retam dėmesiui.
| Parametras | Buvo | Dabar |
|---|---|---|
| Palaikomas sekos ilgis | Nenurodyta | Iki 14 mln. žetonų |
| Sistemos versija | Nenurodyta | v0.2.4 |
Kodėl tai svarbu?
Organizacijoms, treniruojančioms pažangius modelius, šie įrankiai padeda išvengti atminties klaidų ir komunikacijos trikdžių. Tai leidžia naudoti gerokai didesnius įvesties langus (pvz., ištisoms kodo bazėms ar ilgesniems vaizdo įrašams), neaukojant aparatinės įrangos našumo.
Ką tai reiškia AI agentams ir kontaktų centrams?
Jei jūsų įmonė valdo didelio masto modelių treniravimo ar derinimo infrastruktūrą, šis atnaujinimas yra svarbus žingsnis plečiant konteksto langus. Testuodami palyginkite „P2P“ (Ring Attention) ir „All-gather“ strategijas, kad nustatytumėte, kuri iš jų išlaiko geresnį MFU (Model FLOPs Utilization) konkrečiai jūsų modelio architektūrai.
🧪 Verta testuoti
Verta išbandyti, jei reikalingi specialiai treniruoti modeliai, gebantys analizuoti itin didelius duomenų kiekius ar ilgą įvestį.
Šaltiniai
- Google DevelopersOficialusPirminis šaltinisOriginalus straipsnis →„Announcing Long-Context Training on TPUs with MaxText Context Parallelism“2026-11-09 02:00
- Šaltinio publikavimo data
- 2026-11-09 02:00
- Mūsų sistema rado
- 2026-11-09 22:52
- Santrauka sugeneruota
- 2026-11-09 22:53
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas