„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.
„Moonshot AI“ išleido „Kimi-K3.1-Pro“ – atviro svorio, natūraliai multimodalų 2,8 trilijono parametrų modelį. Jis pasižymi 1 milijono žetonų konteksto langu, naudoja „Mixture-of-Experts“ (MoE) architektūrą ir yra specialiai optimizuotas agentų darbo eigoms bei ilgoms užduotims.
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
„NVIDIA“ pristatė trijų dalių optimizavimo strategiją, skirtą pagreitinti MoE modelių išvedimą, išbandytą su 124 mlrd. parametrų „Ling-3.0-flash“ modeliu. Naudojant specializuotus „Humming“ branduolius, FP8 tikslumą „LM head“ sluoksnyje ir kelių žetonų prognozavimą (MTP), pralaidumą galima padidinti 42,5 %, o vėlinimą sumažinti 24,5 %.
Z.ai GLM 5.3 Flash – multimodalinis 320B parametrų Mixture-of-Experts modelis su 18B aktyvių parametrų – dabar pasiekiamas per Mistral platformą. Jis turi 1M žetonų konteksto langą ir sukurtas kūrėjų agentų darbo eigoms, vizualiniam programavimui ir sudėtingoms įrankių naudojimo užduotims. Kaina: 0,15 USD už mln. įvesties žetonų, 0,03 USD už mln. talpykloje saugomų įvesties žetonų, 0,50 USD už mln. išvesties žetonų.
„Google“ pristatė TorchTPU – natyvų PyTorch backend'ą Cloud TPU („torch.device("tpu")“), ir kartu su „Meta“ sukūrė TorchTitan atšaką, pritaikytą mokymui TPU įrenginiuose. Anksčiau norint mokyti PyTorch modelius TPU reikėdavo perrašyti kodą į JAX arba naudoti senesnį torch_xla kelią; dabar pakanka minimalių įrenginio inicializavimo pakeitimų. Atšaka siūlo paruoštus receptus didelių tankių modelių (Llama 3 70B/405B, Qwen 3 8B/32B), MoE modelių (Qwen 3 235B) ir difuzinių transformerių (FLUX.1 12B) pirminiam mokymui, taip pat „Graph Trainer“, kuris visą mokymo žingsnį užfiksuoja kaip vieną XLA programą geresniam kompiliatoriaus optimizavimui.