„Google“ pristatė „Streaming DiLoCo“ efektyviam LLM mokymui
Trumpai: „Google“ įdiegė „Streaming DiLoCo“ į „MaxText“ – metodą, leidžiantį mokyti didelius modelius geografiškai išsklaidytuose duomenų centruose, išvengiant standartinio duomenų lygiagrečiojo mokymo kliūčių. Suskaidžius modelio atnaujinimus, pasiekiamas sklandus mažo pralaidumo sinchronizavimas, žymiai pagerinantis našumą riboto ryšio sąlygomis.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Google Developers“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Į „MaxText“ įtraukta „Streaming DiLoCo“, skirta atspariam mokymui tarp duomenų centrų.
- 2Periodinis viso modelio sinchronizavimas pakeistas laipsnišku parametrų fragmentų srautu.
- 3Įdiegtas asinchroninis foninis „all-reduce“ svorių skirtumams pagrindinio kompiuterio procesoriuose.
- 4Optimizuotas parametrų (embeddings) apkrovos balansavimas, siekiant išvengti tinklo srauto šuolių.
Kodėl tai svarbu?
Jūsų įmonei tai reiškia, kad galite mokyti arba tobulinti didžiulius modelius aplinkose, kur nėra brangių didelio pralaidumo ryšių tarp skaičiavimo resursų. Tai pašalina periodinius vėlavimus, todėl padidėja modelio skaičiavimo našumas (MFU) paskirstytose sistemose.
Ką tai reiškia AI agentams ir kontaktų centrams?
Jei jūsų infrastruktūra apima mokymą keliuose regionuose arba ribotą ryšį tarp dalių, tai sumažina brangaus didelio pralaidumo tinklo poreikį. Testuodami stebėkite MFU ir konvergencijos greitį esant skirtingiems tinklo ribojimams; tai svarbi strategija plečiant mastelį be brangios aparatinės įrangos atnaujinimo.
🧪 Verta testuoti
Tai leidžia ekonomiškai efektyviai mokyti didelio masto modelius per standartinius arba ribotus tinklus, tiesiogiai sprendžiant mastelio problemas, su kuriomis dažnai susiduriama diegiant keliuose duomenų centruose.
Šaltiniai
- Google DevelopersOficialusPirminis šaltinisOriginalus straipsnis →„Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText“2026-11-19 02:00
- Šaltinio publikavimo data
- 2026-11-19 02:00
- Mūsų sistema rado
- 2026-11-19 20:34
- Santrauka sugeneruota
- 2026-11-21 18:09
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas