„Google“ TPU komanda MaxText pakartojo Ai2 „Olmo 3 7B“ treniravimo procesą
Trumpai: „Google Cloud“ TPU inžinerių komanda kartu su Ai2 nuo nulio atkūrė „Olmo 3 7B“ modelio pre-treniravimą naudodama MaxText — „Google“ JAX/XLA treniravimo karkasą, veikiantį TPU įrenginiuose vietoje originalaus Ai2 PyTorch/GPU sprendimo. Jie pasiekė sutapimą su Ai2 paskelbtais rezultatais ne tik treniravimo nuostolio kreivėje, bet ir keturiose nepriklausomose atskirtų (held-out) vertinimo plotmėse per visą ~5,93 trilijono žetonų, 1,41 mln. žingsnių 1 etapo treniravimą bei 2 etapo „annealing“ fazę. Šio darbo metu jie perkėlė į MaxText neįprastą „Olmo 3“ architektūrą (pertvarkytą normalizavimo bloką, QK-norm, 3:1 slankaus/globalaus dėmesio santykį) ir aptiko duomenų kraunimo klaidą, kuri tyliai „pagražino“ rezultatus dėl įsiminimo, o ne tikro mokymosi.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Google Developers“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Pakartotas „Olmo 3 7B“ 1 etapo pre-treniravimas (~5,93T žetonų, 1,41 mln. žingsnių) ir 2 etapo tarpinis „annealing“ etapas MaxText sistemoje TPU įrenginiuose, sutampant su Ai2 PyTorch/GPU atskaitos rezultatais
- 2Sutapimas patikrintas keturiomis atskirtų duomenų metrikomis: C4 held-out nuostoliu, 8 užduočių lm-eval-harness rinkiniu (MMLU, HellaSwag, ARC, OpenBookQA, PIQA, BoolQ, WinoGrande), kelių sričių „perplexity“ matavimu ir žetonų lygio KL divergencija — ne tik treniravimo nuostoliu
- 3„Olmo 3“ neįprasta architektūra (pertvarkytas normalizavimas, QK-norm, 3:1 slankaus/globalaus dėmesio santykis) perkelta į JAX, patikrinta logit-paritetiniu testu (KL ≈ 1,5e-3, 98,75% sutapimas pagal top-1 žetoną esant 8192 žetonų kontekstui)
- 4Aptikta ir ištaisyta Grain duomenų kraunimo klaida su dvigubu skaidymu (sharding), dėl kurios atsirado Puasono tipo pakartotinis ėmimas — apie 26% korpuso matyta du ar daugiau kartų. Tai dirbtinai sumažino treniravimo nuostolį dėl įsiminimo, o atskirtų duomenų metrikos liko nepakitusios
- 5Parodytas tašku-ir-tęsk (checkpoint-and-resume) patikimumas (Δ=0,000 valdomo tęsimo atveju, o po realaus serverio gedimo pakartotas treniravimas 127 žingsniais su Δ=0,000)
- 6Treniravimo užduotis pakeista dydžiu vidury proceso praradus 75% TPU pajėgumų — darbas tęstas keturis kartus mažesniame segmente be recepto pakeitimų, prarandant mažiau nei 1% našumo vienam įrenginiui
- 72 etape pakeista TPU karta (iš Ironwood į v5p) naudojant tą patį paleidiklį, pasiekiant 57,4% MFU
- 8Ironwood TPU pasiektas 44,5% Model FLOPs panaudojimas naudojant SparseCore kolektyvinį perkėlimą, remat derinimą ir optimalų sharding'ą
- 9Šalutinis eksperimentas pakeitus dėmesio galvučių struktūrą (32×128 į 16×256) veikė 12,4% greičiau tokiai pat kokybei, geriau išnaudojant Ironwood 256×256 matricos bloką
Kodėl tai svarbu?
Tai kruopštus inžinerinis patvirtinimas, kad „Google“ MaxText/TPU treniravimo sistema gali ištikimai atkurti žinomą atviro modelio receptą nuo pradžios iki galo, pasiekiant tą patį apibendrinimo elgesį kaip ir originalas — o ne tik panašiai atrodančią nuostolio kreivę. Tai taip pat atskleidžia konkretų gedimo scenarijų (duomenų kraunimo sharding klaidą, apsimetančią treniravimo patobulinimu), nuo kurio turėtų saugotis bet kuri komanda, vykdanti didelio masto LLM pre-treniravimą ar fine-tuning'ą, vertinant atskirtas (held-out) metrikas, o ne vien treniravimo nuostolį.
Šaltiniai
- Google DevelopersOficialusPirminis šaltinisOriginalus straipsnis →„Reproducing Olmo 3 7B Pre-training in MaxText: case study of large scale training on TPUs“2026-09-24 03:00
- Šaltinio publikavimo data
- 2026-09-24 03:00
- Mūsų sistema rado
- 2026-10-02 19:51
- Santrauka sugeneruota
- 2026-10-02 22:56
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas