Efektyvesnis „Kubernetes“ išvesties diegimas naudojant „NVIDIA Dynamo 1.4.2“
Trumpai: „NVIDIA“ pristatė „AI Cluster Runtime“ (AICR), skirtą „Dynamo“ išvesties infrastruktūrai sujungti į patikrintus diegimo šablonus. Šis atnaujinimas supaprastina diegimą, fiksuodamas versijas ir pašalindamas privalomas išorines priklausomybes, pvz., „NATS“, bei pristatydamas naujus „KV-aware“ maršrutizavimo kelius „Kubernetes“ aplinkoje.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „NVIDIA Developer“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Išleista 1.4.2 versija, orientuota į stabilius diegimo šablonus.
- 2„DynamoGraphDeployment“ perkeltas į v1beta1 API.
- 3Numatytasis užklausų perdavimas pakeistas į TCP, o KV-cache įvykių sekimas – į ZMQ.
- 4Pašalinta privaloma „NATS“ priklausomybė vidiniam ryšiui.
- 5Pridėtas natūralus „Kubernetes Gateway API“ integracijos palaikymas per „Inference Extension“ (GAIE).
| Parametras | Buvo | Dabar |
|---|---|---|
| „Dynamo“ platformos versija | Nenurodyta | 1.4.2 |
| „DynamoGraphDeployment“ CRD | v1alpha1 | v1beta1 |
| „NATS“ priklausomybė | Privaloma | Pasirenkama |
| Užklausų perdavimo protokolas | Nenurodyta | TCP |
| KV-cache įvykių protokolas | Nenurodyta | ZMQ |
Kodėl tai svarbu?
Komandoms, plečiančioms AI agentų veiklą, atotrūkio tarp modelio apibrėžimų ir infrastruktūros valdymas yra kritinis. AICR leidžia traktuoti išvesties klasterius kaip kodą, užtikrinant nuoseklias GPU tvarkykles ir maršrutizavimą be rankinio konfigūravimo klaidų.
Ką tai reiškia AI agentams ir kontaktų centrams?
Kuriant balso agentus, KV-cache nuoseklumas yra būtinas siekiant mažo vėlavimo atkuriant „tokenus“. Jei jūsų įmonė naudoja paskirstytą išvestį, įvertinkite, ar GAIE/EPP maršrutizavimo kelias pagerina užklausų apdorojimą, palyginti su „Frontend“ maršrutizatoriumi. Palyginkite vėlavimą, ypač kai „prefill“ ir „decode“ resursai skaluojami atskirai.
🧪 Verta testuoti
AICR testavimas gali žymiai sumažinti naujų išvesties klasterių paruošimo sąnaudas.
Šaltiniai
- NVIDIA DeveloperOficialusPirminis šaltinisOriginalus straipsnis →„Build a Validated Kubernetes Runtime for NVIDIA Dynamo“2026-10-30 23:35
- Šaltinio publikavimo data
- 2026-10-30 23:35
- Mūsų sistema rado
- 2026-10-31 00:02
- Santrauka sugeneruota
- 2026-10-31 00:02
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas