NVIDIA pristato ko-projektavimo strategijas AI atminties efektyvumui didinti
Trumpai: NVIDIA pristatė penkias ko-projektavimo kryptis „Vera Rubin NVL72“ platformai, skirtas maksimaliai padidinti pralaidumą dirbant su agentų užduotimis. Derinant naujus duomenų formatus, tokius kaip NVFP4, ekspertinį paralelizavimą ir „Dynamo“ paskirstytojo aptarnavimo sluoksnį, sistema atmintį naudoja kaip vieningą resursą tarp GPU, pagrindinių CPU ir specializuotos saugyklos.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „NVIDIA Developer“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1NVFP4 formato įvedimas modelio dydžiui ir KV talpyklos dydžiui mažinti.
- 2Platus ekspertų paralelizavimas (Wide-EP) „TensorRT-LLM“ sistemoje.
- 3„Dynamo“ sluoksnis KV talpyklos maršrutizavimui visame klasteryje.
- 4„Vera“ CPU su 88 branduoliais ir 1,8 TB/s „NVLink-C2C“ jungtimi.
- 5„CMX“ saugyklos lygmuo, skirtas bendrai KV talpyklai per visą serverių stelažą.
| Parametras | Buvo | Dabar |
|---|---|---|
| NVFP4 modelio dydžio sumažėjimas (palyginus su FP16) | Nenurodyta | 3.5x |
| NVFP4 modelio dydžio sumažėjimas (palyginus su FP8) | Nenurodyta | 1.8x |
| Vera CPU atminties talpa | Nenurodyta | 1.5 TB LPDDR5X |
| NVLink-C2C pralaidumas | Nenurodyta | 1.8 TB/s |
Kodėl tai svarbu?
Plėtros komandoms pagrindinis dėmesys perkeliamas nuo bendros atminties talpos į kiekvieno baito naudingumo didinimą. Efektyvus KV talpyklos valdymas yra būtinas norint išlaikyti ilgą pokalbių kontekstą ir didelį interaktyvumą nepadidinant energijos sąnaudų.
Ką tai reiškia AI agentams ir kontaktų centrams?
Jei jūsų infrastruktūroje veikia daug balso agentų vienu metu, atkreipkite dėmesį į „Dynamo“ maršrutizavimą. Šie sprendimai tiesiogiai sprendžia ilgų pokalbių istorijos išsaugojimo problemas. Palyginkite pirmojo simbolio generavimo laiką (TTFT) su dabartinėmis sistemomis, kai naudojamas NVFP4 ir atminties iškėlimas į pagrindinį CPU.
🧪 Verta testuoti
Galimybė išlaikyti didesnius agentų kontekstinius langus su mažesnėmis skaičiavimo sąnaudomis yra itin naudinga balso aptarnavimo automatizavimui.
Šaltiniai
- NVIDIA DeveloperOficialusPirminis šaltinisOriginalus straipsnis →„Five Ways NVIDIA Co-Design Maximizes the Value of Every Byte in the AI Factory“2026-11-05 18:00
- NVIDIAOficialusOriginalus straipsnis →„More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge“2026-11-05 18:00Licencija: robots.txt Content-Signal: ai-input=yes
- Šaltinio publikavimo data
- 2026-11-05 18:00
- Mūsų sistema rado
- 2026-11-05 18:09
- Santrauka sugeneruota
- 2026-11-05 18:09
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas