Zespół TPU Google odtwarza trening Olmo 3 7B od Ai2 w MaxText
W skrócie: Zespół inżynierski Google Cloud TPU współpracował z Ai2, aby od podstaw odtworzyć pre-trening Olmo 3 7B przy użyciu MaxText, frameworku treningowego JAX/XLA od Google, działającego na TPU zamiast oryginalnej konfiguracji PyTorch/GPU od Ai2. Dopasowali opublikowane wyniki Ai2 nie tylko w zakresie krzywej straty treningowej, ale na czterech niezależnych powierzchniach ewaluacyjnych typu held-out, obejmując cały run etapu 1 (~5,93 biliona tokenów, 1,41 miliona kroków) oraz fazę annealingu etapu 2. Po drodze przenieśli nietypową architekturę Olmo 3 (bloki z przestawioną normalizacją, QK-norm, stosunek uwagi sliding/global 3:1) do MaxText i wykryli błąd w ładowarce danych, który po cichu zawyżał pozorną wydajność poprzez zapamiętywanie, a nie rzeczywiste uczenie się.
To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „Google Developers”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.
Co się zmieniło?
- 1Odtworzono pre-trening Olmo 3 7B etapu 1 (~5,93T tokenów, 1,41M kroków) oraz anneal mid-trainingowy etapu 2 w MaxText na TPU, dopasowując referencję PyTorch/GPU od Ai2
- 2Zweryfikowano dopasowanie na czterech metrykach held-out: strata held-out C4, zestaw 8 zadań lm-eval-harness (MMLU, HellaSwag, ARC, OpenBookQA, PIQA, BoolQ, WinoGrande), perplexity wielodomenowe oraz dywergencja KL na poziomie tokenów — nie tylko strata treningowa
- 3Przeniesiono niestandardową architekturę Olmo 3 (przestawiona normalizacja, QK-norm, uwaga sliding/global 3:1) do JAX, zweryfikowano za pomocą testu parzystości logitów (KL ≈ 1,5e-3, 98,75% zgodności top-1 tokenów przy kontekście 8192 tokenów)
- 4Znaleziono i naprawiono błąd podwójnego shardowania w ładowarce danych Grain, powodujący resampling w stylu Poissona, przez co ~26% korpusu było widziane dwa lub więcej razy — to zaniżało stratę treningową poprzez zapamiętywanie, podczas gdy metryki held-out pozostawały płaskie
- 5Zademonstrowano niezawodność checkpoint-and-resume (Δ=0,000 w kontrolowanym wznowieniu, a po rzeczywistej awarii hosta run ponownie wytrenował 127 kroków z Δ=0,000)
- 6Przeskalowano zadanie treningowe w trakcie trwania po utracie 75% pojemności TPU, wznawiając na ćwierć wielkości plasterka bez zmiany receptury i z <1% utraty przepustowości na urządzenie
- 7Przełączono generacje TPU w trakcie trwania receptury (Ironwood na v5p) dla etapu 2 przy użyciu identycznego launchera, utrzymując 57,4% MFU
- 8Osiągnięto 44,5% Model FLOPs Utilization na Ironwood dzięki odciążeniu kolektywnemu SparseCore, strojeniu remat oraz optymalizacji shardowania
- 9Boczna ablacja zmieniająca kształt głów uwagi (32×128 na 16×256) działała 12,4% szybciej przy identycznej jakości dzięki lepszemu wykorzystaniu jednostki macierzowej 256×256 w Ironwood
Dlaczego to ważne?
To rygorystyczna walidacja inżynierska pokazująca, że stos treningowy MaxText/TPU od Google może odtworzyć sprawdzoną recepturę treningową otwartego modelu od początku do końca, z takim samym zachowaniem generalizacyjnym jak oryginał — a nie tylko podobnie wyglądającą krzywą straty. Pokazuje też konkretny tryb awarii (błąd shardowania w pipeline danych udający poprawę treningu), przed którym każdy zespół prowadzący pre-trening lub fine-tuning LLM na dużą skalę powinien się zabezpieczyć, oceniając metryki held-out, a nie samą stratę treningową.
Źródła
- Google DevelopersOficjalneŹródło pierwotneOryginalny artykuł →„Reproducing Olmo 3 7B Pre-training in MaxText: case study of large scale training on TPUs“24 wrz 2026, 03:00
- Data publikacji źródła
- 24 wrz 2026, 03:00
- Znalezione przez nasz system
- 2 paź 2026, 19:51
- Podsumowanie wygenerowano
- 2 paź 2026, 22:56
Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność