AWS atveria MoE branduolio optimizacijas vLLM sistemai – mažesnė delsa ir didesnis pralaidumas H200 GPU
Trumpai: AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Swap-AB transponavimas perrikiuoja matricų operandus pagal Hopper WGMMA aparatinės įrangos išdėstymą – 2-4% bendro pralaidumo prieaugis H200 dideliems MoE modeliams; įtraukta į vLLM 0.24.0+
- 2FP8 tenzorinio kvantavimo MoE modelių nukreipimas į Triton backend vietoj numatytojo FlashInfer+CUTLASS duoda 10% bendro pralaidumo pagerėjimą H200, prieinama AWS LMI v28 konteineryje
- 3Nereikalingo Triton JIT perkompiliavimo pašalinimas (naudojant do_not_specialize anotacijas) kintamiems tokenų kiekiams pagerino TTFT 9% H200 su 8-krypčiu tensor paralelizmu; įtraukta į vLLM 0.22.0+
Kodėl tai svarbu?
Komandoms, vykdančioms atvirojo kodo MoE LLM gamybinėse išvadų (inference) grandinėse, šie pakeitimai sumažina kainą už tokeną ir delsą be papildomo kodo keitimo – tik atnaujinant vLLM/LMI konteinerio versijas, kas tiesiogiai aktualu realaus ar beveik realaus laiko pokalbių AI darbo krūviams.
Ką tai reiškia AI agentams ir kontaktų centrams?
Jei jūsų technologijų stekas naudoja savarankiškai talpinamus atvirojo kodo LLM per vLLM (pavyzdžiui, balso agentams, skambučių santraukoms ar įrankių iškvietimo grandinėms) SageMaker ar panašioje Hopper infrastruktūroje, atnaujinus iki minėtų versijų (vLLM 0.22.0+/0.24.0+, LMI v28) galima sumažinti delsą ir kainą su minimaliomis inžinerinėmis pastangomis; verta pamatuoti TTFT ir pralaidumą prieš ir po atnaujinimo su realiu darbo krūviu.
🧪 Verta testuoti
Komandos, savarankiškai talpinančios MoE tipo LLM mažos delsos pokalbių užduotims, gali tiesiogiai pasinaudoti greitesniu TTFT ir didesniu pralaidumu tiesiog atnaujindamos vLLM/LMI konteinerio versijas – tai nedidelių pastangų, bet išmatuojamas testas.
Fused MoE kernel optimizations (Swap-AB, Triton FP8 routing, JIT recompilation fix)· Nauja
Šaltiniai
- AWS Machine LearningOficialusPirminis šaltinisOriginalus straipsnis →„Mixture-of-Experts kernel engineering on Amazon SageMaker AI“2026-10-13 18:17
- Šaltinio publikavimo data
- 2026-10-13 18:17
- Mūsų sistema rado
- 2026-10-13 18:41
- Santrauka sugeneruota
- 2026-10-13 18:42
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas