Pereiti prie turinio
2026 m. lapkričio 22 d., sekmadienis
Tenesys AI News
Prenumerata
Modeliai· Svarbu· 🧪 Verta testuoti

Sumažinkite savarankiškai priegloboje esančių LLM delsą ir sąnaudas naudodami paskirstytą KV kaupimą

Trumpai: AWS pristatė naują „Agent Toolkit“ funkciją, kuri automatizuoja paskirstytojo raktų-reikšmių (KV) kaupimo diegimą savarankiškai priegloboje naudojamiems LLM. Naudojant „Amazon ElastiCache“, šis sprendimas leidžia GPU klasteriams dalintis KV būsenomis tarp sesijų, taip panaikinant pasikartojančius skaičiavimus pradinio generavimo (prefill) fazėje.

Šaltinis: AWS Machine LearningAWSOriginalus straipsnis ↗

Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.

Kas pasikeitė?

  • 1Pristatyta agento funkcija, skirta diagnozuoti, įvertinti ir įdiegti paskirstytąjį KV kaupimą.
  • 2Pridėtas palaikymas integracijai su vLLM ir SGLang varikliais.
  • 3Išleistas KVTrace įrankis, skirtas įvertinti išlaidas ir našumą prieš keičiant infrastruktūrą.
  • 4Įdiegtas automatizuotas saugumo grupių ir EFA konfigūravimas RDMA pagrindu veikiančiam kaupimui.

Kodėl tai svarbu?

Komandoms, valdančioms didelės delsos LLM užduotis, šis įrankis suteikia aiškų būdą sumažinti TTFT iki 80%, o inference sąnaudas – iki 40%. Tai supaprastina sudėtingą KV talpyklų sinchronizavimo tarp GPU serverių užduotį, užtikrinant nuoseklų ir greitą veikimą ilgo konteksto programose.

Ką tai reiškia AI agentams ir kontaktų centrams?

Valdydami GPU resursus balso agentams, išbandykite šį sprendimą, jei jūsų agentai kenčia nuo didelės delsos ilgų pokalbių metu dėl pasikartojančių prefill operacijų. Palyginkite p5 egzempliorių našumą su bendrinama talpykla ir be jos, ypač stebėdami TTFT mažėjimą palyginus su papildomais ElastiCache mazgų kaštais.

🧪 Verta testuoti

Testavimas rekomenduojamas siekiant nustatyti, ar konkrečių balso agentų srauto modeliai ir konteksto ilgiai pateisina bendrinamos KV talpyklos infrastruktūros kaštus.

Distributed KV caching agent skill· Nauja

Šaltiniai

  • AWS Machine LearningOficialusPirminis šaltinis
    „Cut self-hosted LLM cost and latency with the distributed KV caching agent skill“
    2026-11-21 02:14
    Originalus straipsnis →
Šaltinio publikavimo data
2026-11-21 02:14
Mūsų sistema rado
2026-11-21 02:39
Santrauka sugeneruota
2026-11-21 23:09

Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas

Sumažinkite savarankiškai priegloboje esančių LLM delsą ir sąnaudas naudodami paskirstytą KV kaupimą · TENESYS AI NEWS