Google i Meta zintegrowały natywne wsparcie TPU z frameworkiem treningowym PyTorch TorchTitan
W skrócie: Google wprowadziło TorchTPU – natywny backend PyTorch dla Cloud TPU (torch.device("tpu")) i wspólnie z Meta stworzyło fork TorchTitan dostosowany do treningu na TPU. Wcześniej trening modeli PyTorch na TPU wymagał przepisania kodu na JAX lub korzystania ze starszej ścieżki torch_xla; teraz wystarczają minimalne zmiany w inicjalizacji urządzenia. Fork oferuje gotowe przepisy do wstępnego treningu dużych modeli gęstych (Llama 3 70B/405B, Qwen 3 8B/32B), modeli MoE (Qwen 3 235B) oraz transformerów dyfuzyjnych (FLUX.1 12B), a także „Graph Trainer”, który przechwytuje cały krok treningowy jako jeden program XLA dla lepszej optymalizacji kompilatora.
To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „Google Developers”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.
Co się zmieniło?
- 1Nowy natywny backend torch.device("tpu") w PyTorch dzięki TorchTPU, bez konieczności przepisywania na JAX
- 2Udostępniono fork TorchTitan TPU pod github.com/google-pytorch/torchtitan z przepisami do treningu wstępnego i post-treningu
- 3SimpleFSDP zastępuje FSDP2 dla shardingu przyjaznego TPU, kompatybilnego z torch.compile
- 4Kernele Pallas (Splash Attention, scalona strata krzyżowo-entropijna, grupowe mnożenie macierzy MoE) włączane przez flagi konfiguracyjne
- 5Graph Trainer przechwytuje cały krok treningowy (forward, stratę, backward, optymalizator) jako jeden program XLA
- 6Zgłoszone wyniki: ~99% parytetu wydajności z JAX MaxDiffusion na FLUX, 29%+ MFU na Qwen3 235B, 51-52% MFU na Qwen3-8B z funkcjonalnym AdamW
Dlaczego to ważne?
To obniża barierę dla zespołów korzystających już z PyTorch, które chcą trenować lub dostrajać duże modele językowe i dyfuzyjne na Google Cloud TPU bez przechodzenia na JAX, potencjalnie zmniejszając koszty i nakład inżynieryjny przy treningu modeli na dużą skalę oraz w procesach post-treningowych (np. GRPO przez VeRL z serwowaniem vLLM-TorchTPU).
Co to oznacza dla agentów AI i contact center?
To infrastruktura treningowa do budowania lub dostrajania dużych modeli, a nie operacyjne narzędzie do voice AI czy contact center, więc nie ma bezpośredniego wpływu na codzienną obsługę połączeń ani procesy STT/TTS, chyba że Twoja firma w przyszłości będzie trenować lub dostrajać własne duże modele na TPU przy użyciu PyTorch.
Źródła
- Google DevelopersOficjalneŹródło pierwotneOryginalny artykuł →„Integrating TorchTPU into TorchTitan and Optimizing Models for TPU“20 paź 2026, 03:00
- Hugging FaceOficjalneOryginalny artykuł →„Hugging Face ❤️ TorchTPU: TPUs, Natively“20 paź 2026, 03:00
- Data publikacji źródła
- 20 paź 2026, 03:00
- Znalezione przez nasz system
- 20 paź 2026, 18:15
- Podsumowanie wygenerowano
- 20 paź 2026, 18:17
Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność