Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja

Badania AI

Prace naukowe, benchmarki, architektury, rozumowanie i metody trenowania.

#Training Infrastructure — 2 artykuły ✕

Badania· Ważne

Google i Meta zintegrowały natywne wsparcie TPU z frameworkiem treningowym PyTorch TorchTitan

Google wprowadziło TorchTPU – natywny backend PyTorch dla Cloud TPU (torch.device("tpu")) i wspólnie z Meta stworzyło fork TorchTitan dostosowany do treningu na TPU. Wcześniej trening modeli PyTorch na TPU wymagał przepisania kodu na JAX lub korzystania ze starszej ścieżki torch_xla; teraz wystarczają minimalne zmiany w inicjalizacji urządzenia. Fork oferuje gotowe przepisy do wstępnego treningu dużych modeli gęstych (Llama 3 70B/405B, Qwen 3 8B/32B), modeli MoE (Qwen 3 235B) oraz transformerów dyfuzyjnych (FLUX.1 12B), a także „Graph Trainer”, który przechwytuje cały krok treningowy jako jeden program XLA dla lepszej optymalizacji kompilatora.

Google Developers

Zespół TPU Google odtwarza trening Olmo 3 7B od Ai2 w MaxText

Zespół inżynierski Google Cloud TPU współpracował z Ai2, aby od podstaw odtworzyć pre-trening Olmo 3 7B przy użyciu MaxText, frameworku treningowego JAX/XLA od Google, działającego na TPU zamiast oryginalnej konfiguracji PyTorch/GPU od Ai2. Dopasowali opublikowane wyniki Ai2 nie tylko w zakresie krzywej straty treningowej, ale na czterech niezależnych powierzchniach ewaluacyjnych typu held-out, obejmując cały run etapu 1 (~5,93 biliona tokenów, 1,41 miliona kroków) oraz fazę annealingu etapu 2. Po drodze przenieśli nietypową architekturę Olmo 3 (bloki z przestawioną normalizacją, QK-norm, stosunek uwagi sliding/global 3:1) do MaxText i wykryli błąd w ładowarce danych, który po cichu zawyżał pozorną wydajność poprzez zapamiętywanie, a nie rzeczywiste uczenie się.

Google Developers