Firma NVIDIA udostępniła workflow techniczny umożliwiający uruchomienie modelu MoE GLM-5.3 o 753 mld parametrów na dwóch stacjach DGX wyposażonych w GB300. Dzięki zastosowaniu zrównoleglenia tensorowego (TP=2) poprzez połączenia RDMA i vLLM, można pokonać ograniczenia pamięci pojedynczego GPU (252 GB HBM3e) w przypadku modeli o ogromnej skali.
Firma Moonshot AI wprowadziła Kimi-K3.1-Pro, multimodalny model o otwartych wagach i 2,8 biliona parametrów. Charakteryzuje się on oknem kontekstowym o wielkości 1 miliona tokenów, wykorzystuje architekturę Mixture-of-Experts (MoE) i jest zoptymalizowany pod kątem zadań agentowych oraz długofalowych procesów.
NVIDIA wprowadziła Nemotron 3.5 Super VL, multimodalny model 120B z oknem kontekstowym 1M tokenów. Model wykorzystuje hybrydową architekturę Mamba-2 oraz MoE, aby zrównoważyć możliwości rozumowania z wydajnością wnioskowania, i jest gotowy do wdrożenia w środowiskach Amazon EKS oraz SageMaker HyperPod.
Firma NVIDIA opublikowała strategię optymalizacji wnioskowania MoE, przetestowaną na modelu Ling-3.0-flash o 124 miliardach parametrów. Dzięki zastosowaniu specjalistycznych jąder Humming, precyzji FP8 dla LM head oraz predykcji wielu tokenów (MTP), można uzyskać wzrost przepustowości o 42,5% oraz redukcję opóźnień o 24,5%.
Z.ai GLM 5.3 Flash – multimodalny model Mixture-of-Experts z 320B parametrów i 18B aktywnych – jest teraz dostępny na platformie Mistral. Posiada okno kontekstu wielkości 1M tokenów i został zaprojektowany do pracy agentów deweloperskich, kodowania wizualnego oraz złożonych zadań z użyciem narzędzi. Ceny: 0,15 USD za milion tokenów wejściowych, 0,03 USD za milion tokenów z cache, 0,50 USD za milion tokenów wyjściowych.
Google wprowadziło TorchTPU – natywny backend PyTorch dla Cloud TPU (torch.device("tpu")) i wspólnie z Meta stworzyło fork TorchTitan dostosowany do treningu na TPU. Wcześniej trening modeli PyTorch na TPU wymagał przepisania kodu na JAX lub korzystania ze starszej ścieżki torch_xla; teraz wystarczają minimalne zmiany w inicjalizacji urządzenia. Fork oferuje gotowe przepisy do wstępnego treningu dużych modeli gęstych (Llama 3 70B/405B, Qwen 3 8B/32B), modeli MoE (Qwen 3 235B) oraz transformerów dyfuzyjnych (FLUX.1 12B), a także „Graph Trainer”, który przechwytuje cały krok treningowy jako jeden program XLA dla lepszej optymalizacji kompilatora.