Sumažinkite savarankiškai priegloboje esančių LLM delsą ir sąnaudas naudodami paskirstytą KV kaupimą
Trumpai: AWS pristatė naują „Agent Toolkit“ funkciją, kuri automatizuoja paskirstytojo raktų-reikšmių (KV) kaupimo diegimą savarankiškai priegloboje naudojamiems LLM. Naudojant „Amazon ElastiCache“, šis sprendimas leidžia GPU klasteriams dalintis KV būsenomis tarp sesijų, taip panaikinant pasikartojančius skaičiavimus pradinio generavimo (prefill) fazėje.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Pristatyta agento funkcija, skirta diagnozuoti, įvertinti ir įdiegti paskirstytąjį KV kaupimą.
- 2Pridėtas palaikymas integracijai su vLLM ir SGLang varikliais.
- 3Išleistas KVTrace įrankis, skirtas įvertinti išlaidas ir našumą prieš keičiant infrastruktūrą.
- 4Įdiegtas automatizuotas saugumo grupių ir EFA konfigūravimas RDMA pagrindu veikiančiam kaupimui.
Kodėl tai svarbu?
Komandoms, valdančioms didelės delsos LLM užduotis, šis įrankis suteikia aiškų būdą sumažinti TTFT iki 80%, o inference sąnaudas – iki 40%. Tai supaprastina sudėtingą KV talpyklų sinchronizavimo tarp GPU serverių užduotį, užtikrinant nuoseklų ir greitą veikimą ilgo konteksto programose.
Ką tai reiškia AI agentams ir kontaktų centrams?
Valdydami GPU resursus balso agentams, išbandykite šį sprendimą, jei jūsų agentai kenčia nuo didelės delsos ilgų pokalbių metu dėl pasikartojančių prefill operacijų. Palyginkite p5 egzempliorių našumą su bendrinama talpykla ir be jos, ypač stebėdami TTFT mažėjimą palyginus su papildomais ElastiCache mazgų kaštais.
🧪 Verta testuoti
Testavimas rekomenduojamas siekiant nustatyti, ar konkrečių balso agentų srauto modeliai ir konteksto ilgiai pateisina bendrinamos KV talpyklos infrastruktūros kaštus.
Šaltiniai
- AWS Machine LearningOficialusPirminis šaltinisOriginalus straipsnis →„Cut self-hosted LLM cost and latency with the distributed KV caching agent skill“2026-11-21 02:14
- Šaltinio publikavimo data
- 2026-11-21 02:14
- Mūsų sistema rado
- 2026-11-21 02:39
- Santrauka sugeneruota
- 2026-11-21 23:09
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas