LLM išvesties spartinimas naudojant NVIDIA Dynamo per SageMaker HyperPod
Trumpai: AWS pristatė valdomą NVIDIA Dynamo palaikymą SageMaker HyperPod aplinkoje, supaprastindama didelių kalbos modelių diegimą. Atnaujinimas suteikia galimybę naudoti kelių mazgų (multi-node) išvestį, leidžiančią vykdyti modelius, kurie viršija vieno GPU atminties ribas per atskirtus prefill ir decode procesus.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Pridėta valdoma NVIDIA Dynamo integracija į SageMaker HyperPod.
- 2Įgalintas atskirtas (disaggregated) aptarnavimas, atskiriant prefill ir decode fazes.
- 3Įdiegtas KV-aware maršrutizavimas ir prefix cache pakartotinis naudojimas.
- 4Įdiegtas Kubernetes AI (KAI) Scheduler palaikymas kelių mazgų GPU resursų valdymui.
- 5Automatizuotas mazgų būklės stebėjimas ir atkūrimas.
| Parametras | Buvo | Dabar |
|---|---|---|
| Aptarnavimo režimas | Nenurodyta | Agreguotas ir atskirtas |
| Maršrutizavimas | Nenurodyta | KV-aware |
| Diegimas | Nenurodyta | Kelių mazgų (multi-node) per KAI Scheduler |
Kodėl tai svarbu?
Atskiriant prefill ir decode fazes, jūsų infrastruktūra gali efektyviau apdoroti ilgas užklausas be trikdžių. Ši integracija leidžia pasiekti aukštesnį našumą, pavyzdžiui, su Qwen3-235B modeliu, užtikrinant daugiau nei dvigubai didesnį pralaidumą nei įprastose konfigūracijose.
Ką tai reiškia AI agentams ir kontaktų centrams?
Testuojant modelių aptarnavimo architektūras, palyginkite atskirtų konfigūracijų našumą ir vėlavimą su standartiniais sprendimais. Stebėkite, ar KV-aware maršrutizavimas pagerina pirmojo token'o gavimo laiką (TTFT) jūsų balso sąsajos užduotims.
🧪 Verta testuoti
Tai būtina komandoms, siekiančioms optimizuoti modelių aptarnavimo kaštus ir vėlavimą naudojant architektūras, kurios nepriklausomai skalauja prefill ir decode fazes.
Šaltiniai
- AWS Machine LearningOficialusPirminis šaltinisOriginalus straipsnis →„Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference“2026-11-18 01:33
- Šaltinio publikavimo data
- 2026-11-18 01:33
- Mūsų sistema rado
- 2026-11-18 01:48
- Santrauka sugeneruota
- 2026-11-18 10:54
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas