AWS pristato „push“ tipo KV perdavimą, mažinantį delsą atskirtame vLLM infrastruktūros apdorojime
Trumpai: AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Į vLLM pridėtas naujas NixlPushConnector kaip alternatyva numatytajam pull tipo NixlConnector
- 2Decode egzempliorius iš anksto užregistruoja paskirties atminties blokus dar prefill vykdymo metu, pašalinant papildomą ryšio ciklą po prefill
- 3Prefill pusėje KV perdavimo paruošimas ir NIXL WRITE vykdomi fone, atskirai nuo laiko kritiško decode ciklo
- 4Testuota su Qwen3-32B, 1P1D topologija, EC2 P5en su EFA: iki 3 kartų geresnis TTFT (nuo ~1744 ms iki ~540 ms esant 8 QPS/16k įvesčiai) ir TPOT pagerėjimas nuo ~10,4 ms iki ~7 ms esant didelei apkrovai
- 5Funkcija sukurta ir patikrinta AWS Trainium klasteriuose, vėliau pateikta kaip aparatūrai nepriklausoma funkcija, veikianti ir su GPU
- 6Pull režimas lieka geresnis, kai reikia apkrova paremto maršrutizavimo ar dvikrypčio perdavimo; push režimas rekomenduojamas, kai svarbiausia žemas TTFT
Kodėl tai svarbu?
Atskirtas prefill/decode aptarnavimas tampa vis dažnesnis efektyviam LLM infrastruktūros mastymui, o KV talpyklos perdavimo žingsnis tiesiogiai lemia, kaip greitai vartotojas gauna pirmą atsakymo tokeną ir kaip sklandžiai generuojami tolimesni tokenai – tai kritiška bet kuriai delsai jautriai, realaus laiko sistemai.
Ką tai reiškia AI agentams ir kontaktų centrams?
Įmonėms, naudojančioms savarankiškai valdomą LLM infrastruktūrą balso agentams ar realaus laiko kontakt centro automatizavimui, ši naujiena aktuali daugiausia tuomet, jei naudojate vLLM su atskirtu prefill/decode GPU arba Trainium klasteriuose su RDMA tinklu, pvz., EFA. Žemesnis TTFT reiškia, kad agentas pradeda kalbėti greičiau po to, kai vartotojas baigia kalbėti, o stabilesnis TPOT reiškia mažiau trūkčiojimo generuojamoje kalboje esant dideliam skambučių kiekiui. Verta palyginti abu konektoriaus režimus (NixlConnector ir NixlPushConnector) pagal realią lygiagrečių skambučių apkrovą ir įvesties ilgį prieš pereinant prie naujo sprendimo, nes nauda priklauso nuo užklausų dažnio ir teksto ilgio.
🧪 Verta testuoti
Perėjimas prie push tipo konektoriaus gali sumažinti atsako delsą ir pagerinti stabilumą esant dideliam lygiagrečių skambučių kiekiui, jei naudojate nuosavą LLM infrastruktūrą su vLLM atskirtu aptarnavimu – tai tiesiogiai veikia balso agentų suvokiamą greitį.
Push-based NIXL KV connector for disaggregated vLLM inference· Nauja
Šaltiniai
- AWS Machine LearningOficialusPirminis šaltinisOriginalus straipsnis →„Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM“2026-10-19 19:05
- AWS Machine LearningOficialusOriginalus straipsnis →„Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM“2026-10-19 19:03
- Šaltinio publikavimo data
- 2026-10-19 19:05
- Mūsų sistema rado
- 2026-10-19 19:13
- Santrauka sugeneruota
- 2026-10-19 19:15
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas