Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata
Modeliai· Svarbu· 🧪 Verta testuoti

LLM išvesties spartinimas naudojant NVIDIA Dynamo per SageMaker HyperPod

Trumpai: AWS pristatė valdomą NVIDIA Dynamo palaikymą SageMaker HyperPod aplinkoje, supaprastindama didelių kalbos modelių diegimą. Atnaujinimas suteikia galimybę naudoti kelių mazgų (multi-node) išvestį, leidžiančią vykdyti modelius, kurie viršija vieno GPU atminties ribas per atskirtus prefill ir decode procesus.

Šaltinis: AWS Machine LearningAmazonOriginalus straipsnis ↗

Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.

Kas pasikeitė?

  • 1Pridėta valdoma NVIDIA Dynamo integracija į SageMaker HyperPod.
  • 2Įgalintas atskirtas (disaggregated) aptarnavimas, atskiriant prefill ir decode fazes.
  • 3Įdiegtas KV-aware maršrutizavimas ir prefix cache pakartotinis naudojimas.
  • 4Įdiegtas Kubernetes AI (KAI) Scheduler palaikymas kelių mazgų GPU resursų valdymui.
  • 5Automatizuotas mazgų būklės stebėjimas ir atkūrimas.
ParametrasBuvoDabar
Aptarnavimo režimasNenurodytaAgreguotas ir atskirtas
MaršrutizavimasNenurodytaKV-aware
DiegimasNenurodytaKelių mazgų (multi-node) per KAI Scheduler

Kodėl tai svarbu?

Atskiriant prefill ir decode fazes, jūsų infrastruktūra gali efektyviau apdoroti ilgas užklausas be trikdžių. Ši integracija leidžia pasiekti aukštesnį našumą, pavyzdžiui, su Qwen3-235B modeliu, užtikrinant daugiau nei dvigubai didesnį pralaidumą nei įprastose konfigūracijose.

Ką tai reiškia AI agentams ir kontaktų centrams?

Testuojant modelių aptarnavimo architektūras, palyginkite atskirtų konfigūracijų našumą ir vėlavimą su standartiniais sprendimais. Stebėkite, ar KV-aware maršrutizavimas pagerina pirmojo token'o gavimo laiką (TTFT) jūsų balso sąsajos užduotims.

🧪 Verta testuoti

Tai būtina komandoms, siekiančioms optimizuoti modelių aptarnavimo kaštus ir vėlavimą naudojant architektūras, kurios nepriklausomai skalauja prefill ir decode fazes.

NVIDIA Dynamo on HyperPod· Nauja

Šaltiniai

  • AWS Machine LearningOficialusPirminis šaltinis
    „Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference“
    2026-11-18 01:33
    Originalus straipsnis →
Šaltinio publikavimo data
2026-11-18 01:33
Mūsų sistema rado
2026-11-18 01:48
Santrauka sugeneruota
2026-11-18 10:54

Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas

LLM išvesties spartinimas naudojant NVIDIA Dynamo per SageMaker HyperPod · TENESYS AI NEWS