Didelių MoE modelių diegimas naudojant kelias NVIDIA DGX stotis
Trumpai: „NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „NVIDIA Developer“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1GLM-5.3 NVFP4 diegimas per tenzorinį lygiagretumą tarp dviejų sujungtų stočių
- 2FP8 KV-cache įdiegimas atminties naudojimui optimizuoti
- 3Kelių žetonų (4 tokens) prognozavimo įjungimas pralaidumui padidinti
- 4RDMA (ConnectX-8) naudojimas mažo vėlavimo ryšiui tarp mazgų
| Parametras | Buvo | Dabar |
|---|---|---|
| Context window | Nenurodyta | 98304 tokens |
| Speculative decoding | Nenurodyta | Multi-token prediction (4 tokens) |
| KV-cache | Nenurodyta | FP8 storage |
Kodėl tai svarbu?
Šis metodas leidžia jūsų komandai diegti masyvius, pažangiausius modelius privačioje infrastruktūroje, išlaikant aukštą pralaidumą. Tai išsprendžia fizinės atminties ribojimus efektyviai apjungiant GPU talpą tarp skirtingų aparatūros vienetų.
Ką tai reiškia AI agentams ir kontaktų centrams?
Testuodami pritaikytus lokalius agentus, naudokite šį modelį, jei jūsų modeliai viršija HBM3e atminties limitus. Stebėkite vėlavimo (latency) padidėjimą dėl RDMA ryšio tarp mazgų, lyginant su vieno mazgo konfigūracijomis. Įvertinkite, kaip FP8 kešas ir spekuliatyvus dekodavimas veikia transkripcijos ir samprotavimo greitį jūsų darbo krūviui.
🧪 Verta testuoti
Tai standartinis karkasas didelės apimties parametrų modeliams mastelio keitimui privačioje infrastruktūroje, kai svarbus privatumas ar debesijos API vėlavimas.
Šaltiniai
- NVIDIA DeveloperOficialusPirminis šaltinisOriginalus straipsnis →„When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM“2026-11-13 19:00
- Šaltinio publikavimo data
- 2026-11-13 19:00
- Mūsų sistema rado
- 2026-11-13 19:19
- Santrauka sugeneruota
- 2026-11-13 19:20
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas