Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

Visos naujienos Modeliai Agentai Voice AI Automatizavimas Verslas Tyrimai Kibernetinis saugumas

Bet kada Šiandien Šią savaitę Šį mėnesį🔴 Karštos 🟠 Svarbios 🧪 Verta testuoti

#PyTorch — 3 straipsniai ✕

Modeliai· Svarbu· 🧪 Verta testuoti

AWS ir i14 atsisako KV talpyklos: 3B parametrų linijinio dėmesio modelis Trainium2 lustuose

Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.

prieš 31 min.AWS Machine Learning

Tyrimai· Svarbu

Google ir Meta integravo natyvų TPU palaikymą į PyTorch TorchTitan mokymo karkasą

„Google“ pristatė TorchTPU – natyvų PyTorch backend'ą Cloud TPU („torch.device("tpu")“), ir kartu su „Meta“ sukūrė TorchTitan atšaką, pritaikytą mokymui TPU įrenginiuose. Anksčiau norint mokyti PyTorch modelius TPU reikėdavo perrašyti kodą į JAX arba naudoti senesnį torch_xla kelią; dabar pakanka minimalių įrenginio inicializavimo pakeitimų. Atšaka siūlo paruoštus receptus didelių tankių modelių (Llama 3 70B/405B, Qwen 3 8B/32B), MoE modelių (Qwen 3 235B) ir difuzinių transformerių (FLUX.1 12B) pirminiam mokymui, taip pat „Graph Trainer“, kuris visą mokymo žingsnį užfiksuoja kaip vieną XLA programą geresniam kompiliatoriaus optimizavimui.

prieš 22 val.Google Developers

Modeliai· Svarbu

Google pristatė natūralius PyTorch išvedimo variklius vLLM ir SGLang, skirtus TPU

Google paskelbė naujus vLLM ir SGLang išvedimo (inference) variklius, sukurtus tiesiogiai ant PyTorch TPU įrenginiams, kuriuos kūrė kartu su Inferact ir RadixArk. Varikliai veikia ant naujo TorchTPU sluoksnio, kuris paverčia TPU natūraliu PyTorch įrenginiu, pakeisdamas ankstesnį JAX pagrindu veikusį sprendimą. Google praneša apie viešą 2,01 cento už milijoną tokenų savikainą esant dideliam lygiagretumui per SemiAnalysis InferenceX projektą, taip pat palaikomus agentinius darbo krūvius, ilgą kontekstą, atskirtą (disaggregated) aptarnavimą ir multimodalius modelius.

prieš 22 val.Google Developers