„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.
„Moonshot AI“ išleido „Kimi-K3.1-Pro“ – atviro svorio, natūraliai multimodalų 2,8 trilijono parametrų modelį. Jis pasižymi 1 milijono žetonų konteksto langu, naudoja „Mixture-of-Experts“ (MoE) architektūrą ir yra specialiai optimizuotas agentų darbo eigoms bei ilgoms užduotims.
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
„NVIDIA“ pristatė trijų dalių optimizavimo strategiją, skirtą pagreitinti MoE modelių išvedimą, išbandytą su 124 mlrd. parametrų „Ling-3.0-flash“ modeliu. Naudojant specializuotus „Humming“ branduolius, FP8 tikslumą „LM head“ sluoksnyje ir kelių žetonų prognozavimą (MTP), pralaidumą galima padidinti 42,5 %, o vėlinimą sumažinti 24,5 %.
Z.ai GLM 5.3 Flash – multimodalinis 320B parametrų Mixture-of-Experts modelis su 18B aktyvių parametrų – dabar pasiekiamas per Mistral platformą. Jis turi 1M žetonų konteksto langą ir sukurtas kūrėjų agentų darbo eigoms, vizualiniam programavimui ir sudėtingoms įrankių naudojimo užduotims. Kaina: 0,15 USD už mln. įvesties žetonų, 0,03 USD už mln. talpykloje saugomų įvesties žetonų, 0,50 USD už mln. išvesties žetonų.
„Liquid AI“ paskelbė LFM2.5-24B-A2B – mišrių ekspertų (MoE) modelį su 24B bendrų parametrų, bet tik 2B aktyvių vienam tokenui, skirtą samprotaujantiems agentams vykdyti lokalioje įrangoje. Naujoje versijoje konteksto langas išplėstas iki 131K tokenų, žodynas padvigubintas, o pradinis mokymas atliktas naudojant maždaug dvigubai daugiau duomenų nei ankstesnėje versijoje. Agentinio ir įrankių naudojimo testų rezultatais modelis prilygsta arba lenkia modelius, turinčius apie 50 % daugiau parametrų, kartu pasiekdamas greitą veikimą tiek vartotojiškoje, tiek duomenų centro įrangoje.
AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).
Z.ai sukurtas GLM 5.3 — 753 milijardų parametrų MoE modelis, optimizuotas kodavimui ir ilgalaikėms agentinėms užduotims — dabar prieinamas kaip pilnai valdomas modelis „Amazon Bedrock“ platformoje. Jis tobulina GLM 5 liniją geresniais kodavimo benchmarkų rezultatais, išskirtinėmis kibernetinio saugumo galimybėmis (CyberGym rezultatas 84,5) ir gilesne integracija su Bedrock, įskaitant OpenAI suderinamas API, prompt talpinimą, tarpregioninį interferavimą ir aptarnavimo lygius. AWS taip pat parodo, kaip GLM 5.3 naudoti su atviro kodo agentu Strix autorizuotam savo programų penetraciniam testavimui.