Pereiti prie turinio
2026 m. lapkričio 22 d., sekmadienis
Tenesys AI News
Prenumerata
Tyrimai· Svarbu· 🧪 Verta testuoti

„Google“ pristatė „Streaming DiLoCo“ efektyviam LLM mokymui

Trumpai: „Google“ įdiegė „Streaming DiLoCo“ į „MaxText“ – metodą, leidžiantį mokyti didelius modelius geografiškai išsklaidytuose duomenų centruose, išvengiant standartinio duomenų lygiagrečiojo mokymo kliūčių. Suskaidžius modelio atnaujinimus, pasiekiamas sklandus mažo pralaidumo sinchronizavimas, žymiai pagerinantis našumą riboto ryšio sąlygomis.

Šaltinis: Google DevelopersGoogleOriginalus straipsnis ↗

Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Google Developers“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.

Kas pasikeitė?

  • 1Į „MaxText“ įtraukta „Streaming DiLoCo“, skirta atspariam mokymui tarp duomenų centrų.
  • 2Periodinis viso modelio sinchronizavimas pakeistas laipsnišku parametrų fragmentų srautu.
  • 3Įdiegtas asinchroninis foninis „all-reduce“ svorių skirtumams pagrindinio kompiuterio procesoriuose.
  • 4Optimizuotas parametrų (embeddings) apkrovos balansavimas, siekiant išvengti tinklo srauto šuolių.

Kodėl tai svarbu?

Jūsų įmonei tai reiškia, kad galite mokyti arba tobulinti didžiulius modelius aplinkose, kur nėra brangių didelio pralaidumo ryšių tarp skaičiavimo resursų. Tai pašalina periodinius vėlavimus, todėl padidėja modelio skaičiavimo našumas (MFU) paskirstytose sistemose.

Ką tai reiškia AI agentams ir kontaktų centrams?

Jei jūsų infrastruktūra apima mokymą keliuose regionuose arba ribotą ryšį tarp dalių, tai sumažina brangaus didelio pralaidumo tinklo poreikį. Testuodami stebėkite MFU ir konvergencijos greitį esant skirtingiems tinklo ribojimams; tai svarbi strategija plečiant mastelį be brangios aparatinės įrangos atnaujinimo.

🧪 Verta testuoti

Tai leidžia ekonomiškai efektyviai mokyti didelio masto modelius per standartinius arba ribotus tinklus, tiesiogiai sprendžiant mastelio problemas, su kuriomis dažnai susiduriama diegiant keliuose duomenų centruose.

Streaming DiLoCo· Nauja

Šaltiniai

  • Google DevelopersOficialusPirminis šaltinis
    „Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText“
    2026-11-19 02:00
    Originalus straipsnis →
Šaltinio publikavimo data
2026-11-19 02:00
Mūsų sistema rado
2026-11-19 20:34
Santrauka sugeneruota
2026-11-21 18:09

Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas

„Google“ pristatė „Streaming DiLoCo“ efektyviam LLM mokymui · TENESYS AI NEWS