NVIDIA supaprastina dirbtinio intelekto diegimą „Edge“ įrenginiuose su „TensorRT Edge-LLM“
Trumpai: NVIDIA pristatė naują komandinės eilutės sąsają „TensorRT Edge-LLM“ vykdymo mechanizmui, leidžiančią kūrėjams greitai kurti ir testuoti dirbtinio intelekto modelius „DGX Spark 64GB“ darbo stotyse. Įrankių rinkinys palengvina modelių paleidimą vietoje ir palaiko „DSpark“ spekuliatyvųjį dekodavimą, skirtą padidinti generavimo spartą ribotų resursų aparatinėje įrangoje.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „NVIDIA Developer“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Pristatyta „trtedge“ CLI, skirta automatiniam modelių atsisiuntimui ir variklių optimizavimui.
- 2Pridėtas vietinio „OpenAI“ suderinamo API palaikymas „Edge“ įrenginiuose.
- 3Įjungtas „DSpark“ spekuliatyvusis dekodavimas, padidinęs vidutinį generavimo greitį su „HumanEval“ nuo 73,4 iki 126,9 tokeno per sekundę.
- 4Suvienodinta išvadų (inference) darbo eiga tarp „DGX Spark“ ir diegimo platformų, tokių kaip „Jetson/DRIVE/IGX Thor“.
| Parametras | Buvo | Dabar |
|---|---|---|
| Vidutinis generavimo greitis (HumanEval) | 73,4 tokeno/s (DSpark IŠJUNGTA) | 126,9 tokeno/s (DSpark ĮJUNGTA) |
Kodėl tai svarbu?
Tai sumažina kliūtis perkeliant dirbtinio intelekto agentus iš kūrimo aplinkos į ribotų resursų fizinę aparatinę įrangą. Komandoms, kuriančioms balso ar agentinius dirbtinio intelekto sprendimus, tai suteikia spartesnį kelią patikrinti modelio veikimą „Edge“ aplinkai pritaikytame „stack'e“.
Ką tai reiškia AI agentams ir kontaktų centrams?
Jei kuriate balso „Edge“ agentus, išbandykite, ar jūsų dabartiniai vietiniai transkripcijos ar LLM vamzdynai gali gauti naudos iš „DSpark“ spekuliatyviojo dekodavimo. Palyginkite esamos sistemos delsą ir didžiausią atminties suvartojimą su šiuo optimizuotu „TensorRT“ vykdymo mechanizmu diegiant į „NVIDIA Edge“ įrangą.
🧪 Verta testuoti
Spekuliatyviojo dekodavimo našumo padidėjimas „Edge“ įrangoje gali žymiai sumažinti balso agentų atsako delsą.
Šaltiniai
- NVIDIA DeveloperOficialusPirminis šaltinisOriginalus straipsnis →„Run AI Models for Edge Application Development with Just a Few Commands“2026-10-30 22:33
- Šaltinio publikavimo data
- 2026-10-30 22:33
- Mūsų sistema rado
- 2026-10-30 23:02
- Santrauka sugeneruota
- 2026-10-30 23:02
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas