Pereiti prie turinio
2026 m. lapkričio 20 d., penktadienis
Tenesys AI News
Prenumerata

AI tyrimai

Moksliniai darbai, benchmarkai, architektūros, reasoning ir mokymo metodai.

#MoE — 2 straipsniai ✕

Tyrimai· Svarbu

Google ir Meta integravo natyvų TPU palaikymą į PyTorch TorchTitan mokymo karkasą

„Google“ pristatė TorchTPU – natyvų PyTorch backend'ą Cloud TPU („torch.device("tpu")“), ir kartu su „Meta“ sukūrė TorchTitan atšaką, pritaikytą mokymui TPU įrenginiuose. Anksčiau norint mokyti PyTorch modelius TPU reikėdavo perrašyti kodą į JAX arba naudoti senesnį torch_xla kelią; dabar pakanka minimalių įrenginio inicializavimo pakeitimų. Atšaka siūlo paruoštus receptus didelių tankių modelių (Llama 3 70B/405B, Qwen 3 8B/32B), MoE modelių (Qwen 3 235B) ir difuzinių transformerių (FLUX.1 12B) pirminiam mokymui, taip pat „Graph Trainer“, kuris visą mokymo žingsnį užfiksuoja kaip vieną XLA programą geresniam kompiliatoriaus optimizavimui.

Google Developers
Tyrimai· 🧪 Verta testuoti

AWS atveria MoE branduolio optimizacijas vLLM sistemai – mažesnė delsa ir didesnis pralaidumas H200 GPU

AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).

AWS Machine Learning