„Google“ atnaujino atvirojo kodo „JAX“ mokymo sistemą „MaxText“, kad būtų galima treniruoti didelius kalbų modelius (LLM) su itin ilgomis sekomis naudojant „Cloud TPU“. Įdiegus keturias konteksto paralelizavimo strategijas, dabar įmanoma efektyviai treniruoti modelius su iki 14 mln. žetonų, įveikiant atminties ir skaičiavimo ribojimus.
„Google Cloud“ pristatė dinaminį TPU (Tensor Processing Unit) skaidymą GKE (Google Kubernetes Engine) aplinkoje, leidžiantį atsieti logines aparatinės įrangos konfigūracijas nuo fizinių mazgų telkinių. Šis atnaujinimas panaikina poreikį rankiniu būdu perkurti mazgų telkinius keičiantis darbo krūviui, taip užtikrinant greitesnį prisitaikymą ir geresnį atsparumą klaidoms.
„Google“ pristatė TorchTPU – natyvų PyTorch backend'ą Cloud TPU („torch.device("tpu")“), ir kartu su „Meta“ sukūrė TorchTitan atšaką, pritaikytą mokymui TPU įrenginiuose. Anksčiau norint mokyti PyTorch modelius TPU reikėdavo perrašyti kodą į JAX arba naudoti senesnį torch_xla kelią; dabar pakanka minimalių įrenginio inicializavimo pakeitimų. Atšaka siūlo paruoštus receptus didelių tankių modelių (Llama 3 70B/405B, Qwen 3 8B/32B), MoE modelių (Qwen 3 235B) ir difuzinių transformerių (FLUX.1 12B) pirminiam mokymui, taip pat „Graph Trainer“, kuris visą mokymo žingsnį užfiksuoja kaip vieną XLA programą geresniam kompiliatoriaus optimizavimui.
Google paskelbė naujus vLLM ir SGLang išvedimo (inference) variklius, sukurtus tiesiogiai ant PyTorch TPU įrenginiams, kuriuos kūrė kartu su Inferact ir RadixArk. Varikliai veikia ant naujo TorchTPU sluoksnio, kuris paverčia TPU natūraliu PyTorch įrenginiu, pakeisdamas ankstesnį JAX pagrindu veikusį sprendimą. Google praneša apie viešą 2,01 cento už milijoną tokenų savikainą esant dideliam lygiagretumui per SemiAnalysis InferenceX projektą, taip pat palaikomus agentinius darbo krūvius, ilgą kontekstą, atskirtą (disaggregated) aptarnavimą ir multimodalius modelius.
„Google Cloud“ TPU inžinerių komanda kartu su Ai2 nuo nulio atkūrė „Olmo 3 7B“ modelio pre-treniravimą naudodama MaxText — „Google“ JAX/XLA treniravimo karkasą, veikiantį TPU įrenginiuose vietoje originalaus Ai2 PyTorch/GPU sprendimo. Jie pasiekė sutapimą su Ai2 paskelbtais rezultatais ne tik treniravimo nuostolio kreivėje, bet ir keturiose nepriklausomose atskirtų (held-out) vertinimo plotmėse per visą ~5,93 trilijono žetonų, 1,41 mln. žingsnių 1 etapo treniravimą bei 2 etapo „annealing“ fazę. Šio darbo metu jie perkėlė į MaxText neįprastą „Olmo 3“ architektūrą (pertvarkytą normalizavimo bloką, QK-norm, 3:1 slankaus/globalaus dėmesio santykį) ir aptiko duomenų kraunimo klaidą, kuri tyliai „pagražino“ rezultatus dėl įsiminimo, o ne tikro mokymosi.
Google inžinieriai aprašo, kaip jie įgyvendino retą (sparse) erdvinio-laikinio dėmesio (attention) skaičiavimą vaizdo difuzijos modeliams TPU v6e lustuose, paversdami teorinį Sparse VideoGen (SVG) metodo retumą realiu aparatinės įrangos pagreičiu. Per kelis branduolio optimizavimo etapus (plytelių specializaciją, dydžio derinimą ir kaukės suderinimą su plytelėmis) jie sumažino dėmesio skaičiavimo laiką nuo 96,37 ms (naivus retas variantas) iki 32,76 ms – tai 2,40 karto greičiau nei tankus Splash Attention viename TPU v6e luste, naudojant 75,6 tūkst. token, 10 galvų ir 128 galvos dimensiją.