Pristatytas llm-d 1.0: atviro kodo Kubernetes infrastruktūra LLM modelių eksploatavimui gamyboje
Trumpai: Red Hat, IBM ir Google pristatė llm-d 1.0 — Kubernetes pagrįstą paskirstytą LLM užklausų aptarnavimo sistemą, kuri peržengė atskirų našumo technikų demonstravimo etapą ir tapo tinkama realiai gamybinei eksploatacijai. Naujoje versijoje pridėta daugiafunkcė paslaugų kokybės kontrolė, nenutrūkstamos naujinimo operacijos ir agentams pritaikytas aptarnavimas, kad tas pats galinis taškas galėtų efektyviai aptarnauti tiek žmones, tiek autonominius agentus. Viename teste llm-d prefiksų talpyklos maršrutizatorius pasiekė 97% talpyklos pakartotinio panaudojimo agentiniame programavimo scenarijuje, o IBM/Red Hat paleido 3000 vienu metu veikiančių programinės įrangos inžinerijos agentų 5-10 kartų pigiau nei naudojant tą patį modelį kaip talpinamą paslaugą.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „IBM Research“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Pridėta daugiafunkcė paslaugų kokybės kontrolė, srauto valdymas ir prioritetizavimas mišriems žmonių/agentų krūviams
- 2Įdiegtos nenutrūkstamos naujinimo operacijos ir stabilus API antros dienos eksploatacijai
- 3Sujungtos prefiksų talpyklos maršrutizavimo, KV talpyklos perkėlimo, paketinio optimizavimo, užpildymo/dekodavimo atskyrimo ir plačiojo ekspertų lygiagretinimo technikos į vieną koordinuotą sistemą
- 4Veikia su esamais infrastruktūros varikliais, tokiais kaip vLLM ir SGLang
- 5Demonstruota 97% talpyklos pakartotinis panaudojimas agentiniame programavimo scenarijuje ir 5-10 kartų mažesnės išlaidos paleidžiant 3000 vienu metu veikiančių agentų, lyginant su talpinamo modelio kainomis
Kodėl tai svarbu?
Kai AI diegimai pereina nuo demonstracijų prie nuolatinių gamybinių paslaugų, agentiniai krūviai su pakartotiniais įrankių iškvietimais ir daugiapakopiu kontekstu didina užklausų aptarnavimo išlaidas; llm-d 1.0 siūlo tiekėjo nepriklausomą būdą patiems talpinti modelius bet kokioje aparatinėje įrangoje ar debesyje, kartu kontroliuojant delsą ir kainą realaus srauto sąlygomis.
Ką tai reiškia AI agentams ir kontaktų centrams?
Jei jūsų balso AI ar kontaktų centro sprendimai naudoja savarankiškai talpinamus LLM modelius įrankių iškvietimui, MCP agentams ar daugiapakopiams pokalbio scenarijams, llm-d prefiksų talpyklos maršrutizavimas ir agentams pritaikytas aptarnavimas gali sumažinti pakartotinį konteksto apdorojimą ir sumažinti užklausos kainą — verta palyginti su dabartinėmis API išlaidomis, ypač delsai jautriuose realaus laiko balso sprendimuose.
🧪 Verta testuoti
Testuojant llm-d su dabartine infrastruktūra galima atskleisti reikšmingus kainos ir delsos pagerinimus daugiapakopiams balso agentų ir įrankių iškvietimo krūviams, ypač kai kontekstas pakartotinai naudojamas skirtinguose pokalbio etapuose.
Šaltiniai
- IBM ResearchOficialusPirminis šaltinisOriginalus straipsnis →„llm-d 1.0 hardens open-source AI inference for production“2026-10-20 15:00
- Šaltinio publikavimo data
- 2026-10-20 15:00
- Mūsų sistema rado
- 2026-10-20 15:14
- Santrauka sugeneruota
- 2026-10-20 15:15
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas