Pereiti prie turinio
2026 m. lapkričio 20 d., penktadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

#MoE — 10 straipsnių ✕

Modeliai· Svarbu· 🧪 Verta testuoti

Didelių MoE modelių diegimas naudojant kelias NVIDIA DGX stotis

„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.

NVIDIA Developer
Modeliai· Svarbu· 🧪 Verta testuoti

„Moonshot AI“ pristatė multimodalų agentų modelį „Kimi-K3.1-Pro“

„Moonshot AI“ išleido „Kimi-K3.1-Pro“ – atviro svorio, natūraliai multimodalų 2,8 trilijono parametrų modelį. Jis pasižymi 1 milijono žetonų konteksto langu, naudoja „Mixture-of-Experts“ (MoE) architektūrą ir yra specialiai optimizuotas agentų darbo eigoms bei ilgoms užduotims.

Moonshot Kimi (Hugging Face)
Modeliai· Svarbu· 🧪 Verta testuoti

„NVIDIA“ pristatė multimodalų „Nemotron 3.5 Super VL“, skirtą „AWS EKS“

„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.

AWS Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

Didelių MoE modelių pralaidumo didinimas NVIDIA platformose

„NVIDIA“ pristatė trijų dalių optimizavimo strategiją, skirtą pagreitinti MoE modelių išvedimą, išbandytą su 124 mlrd. parametrų „Ling-3.0-flash“ modeliu. Naudojant specializuotus „Humming“ branduolius, FP8 tikslumą „LM head“ sluoksnyje ir kelių žetonų prognozavimą (MTP), pralaidumą galima padidinti 42,5 %, o vėlinimą sumažinti 24,5 %.

NVIDIA Developer
Modeliai· Svarbu· 🧪 Verta testuoti

Pasirodė Z.ai GLM 5.3 Flash modelis su 1M žetonų kontekstu

Z.ai GLM 5.3 Flash – multimodalinis 320B parametrų Mixture-of-Experts modelis su 18B aktyvių parametrų – dabar pasiekiamas per Mistral platformą. Jis turi 1M žetonų konteksto langą ir sukurtas kūrėjų agentų darbo eigoms, vizualiniam programavimui ir sudėtingoms įrankių naudojimo užduotims. Kaina: 0,15 USD už mln. įvesties žetonų, 0,03 USD už mln. talpykloje saugomų įvesties žetonų, 0,50 USD už mln. išvesties žetonų.

Mistral Changelog
Tyrimai· Svarbu

Google ir Meta integravo natyvų TPU palaikymą į PyTorch TorchTitan mokymo karkasą

„Google“ pristatė TorchTPU – natyvų PyTorch backend'ą Cloud TPU („torch.device("tpu")“), ir kartu su „Meta“ sukūrė TorchTitan atšaką, pritaikytą mokymui TPU įrenginiuose. Anksčiau norint mokyti PyTorch modelius TPU reikėdavo perrašyti kodą į JAX arba naudoti senesnį torch_xla kelią; dabar pakanka minimalių įrenginio inicializavimo pakeitimų. Atšaka siūlo paruoštus receptus didelių tankių modelių (Llama 3 70B/405B, Qwen 3 8B/32B), MoE modelių (Qwen 3 235B) ir difuzinių transformerių (FLUX.1 12B) pirminiam mokymui, taip pat „Graph Trainer“, kuris visą mokymo žingsnį užfiksuoja kaip vieną XLA programą geresniam kompiliatoriaus optimizavimui.

Google Developers
Modeliai· Svarbu

Reflection pristatė Beam – 501B parametrų atvirą MoE modelį su 1M tokenų kontekstu

Nauja JAV DI laboratorija Reflection pristatė savo pirmąjį modelį Beam – atvirojo kodo mišrios ekspertų architektūros (MoE) modelį su 501B bendrų parametrų (23B aktyvuojama vienam tokenui) ir 1M tokenų konteksto langu, išleistą pagal Apache 2.0 licenciją. Modelis sukurtas programavimo ir agentinėms užduotims, pristatomas su specialiu Rust pagrindu veikiančiu vykdymo karkasu bei iš karto veikia su transformers, vLLM ir SGLang bibliotekomis. Reflection pateikia stiprius rezultatus programavimo, loginio mąstymo ir įrankių iškvietimo testuose BF16, FP8 ir NVFP4 formatais.

Hugging Face
Modeliai· Svarbu· 🧪 Verta testuoti

Nauja atviro svorio „Liquid AI“ modelio versija leidžia vykdyti agentinį samprotavimą lokaliai, naudojant tik 2B aktyvių parametrų

„Liquid AI“ paskelbė LFM2.5-24B-A2B – mišrių ekspertų (MoE) modelį su 24B bendrų parametrų, bet tik 2B aktyvių vienam tokenui, skirtą samprotaujantiems agentams vykdyti lokalioje įrangoje. Naujoje versijoje konteksto langas išplėstas iki 131K tokenų, žodynas padvigubintas, o pradinis mokymas atliktas naudojant maždaug dvigubai daugiau duomenų nei ankstesnėje versijoje. Agentinio ir įrankių naudojimo testų rezultatais modelis prilygsta arba lenkia modelius, turinčius apie 50 % daugiau parametrų, kartu pasiekdamas greitą veikimą tiek vartotojiškoje, tiek duomenų centro įrangoje.

Hugging Face
Tyrimai· 🧪 Verta testuoti

AWS atveria MoE branduolio optimizacijas vLLM sistemai – mažesnė delsa ir didesnis pralaidumas H200 GPU

AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).

AWS Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

Z.ai GLM 5.3 (753B MoE) pasirodė „Amazon Bedrock“ su stipriais kodavimo ir saugumo rezultatais

Z.ai sukurtas GLM 5.3 — 753 milijardų parametrų MoE modelis, optimizuotas kodavimui ir ilgalaikėms agentinėms užduotims — dabar prieinamas kaip pilnai valdomas modelis „Amazon Bedrock“ platformoje. Jis tobulina GLM 5 liniją geresniais kodavimo benchmarkų rezultatais, išskirtinėmis kibernetinio saugumo galimybėmis (CyberGym rezultatas 84,5) ir gilesne integracija su Bedrock, įskaitant OpenAI suderinamas API, prompt talpinimą, tarpregioninį interferavimą ir aptarnavimo lygius. AWS taip pat parodo, kaip GLM 5.3 naudoti su atviro kodo agentu Strix autorizuotam savo programų penetraciniam testavimui.

AWS Machine Learning