AWS wprowadza przesyłanie KV typu „push”, skracające opóźnienia w rozdzielonej infrastrukturze vLLM
W skrócie: AWS udostępnił konektor NIXL typu „push” dla vLLM, zmieniający sposób przesyłania danych pamięci podręcznej klucz-wartość (KV) między instancjami prefill i decode w rozdzielonym serwowaniu LLM. Zamiast pobierania bloków KV przez instancję decode po zakończeniu prefill, instancja decode z wyprzedzeniem rejestruje docelową pamięć, a instancja prefill zapisuje dane KV bezpośrednio, gdy tylko są gotowe — usuwając koordynację ze ścieżki krytycznej. W testach z modelem Qwen3-32B w konfiguracji 1 prefill/1 decode na instancjach EC2 P5en z EFA, tryb push osiągnął nawet 3-krotnie lepszy czas do pierwszego tokenu (TTFT) i nawet o 30% lepszy czas generowania pojedynczego tokenu (TPOT) niż domyślny tryb pull, zwłaszcza przy dużym obciążeniu zapytaniami.
To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „AWS Machine Learning”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.
Co się zmieniło?
- 1Dodano nowy NixlPushConnector do vLLM jako alternatywę dla domyślnego NixlConnector typu pull
- 2Instancja decode z wyprzedzeniem rejestruje docelowe bloki pamięci podczas trwania prefill, eliminując dodatkowy cykl komunikacji po prefill
- 3Po stronie prefill przygotowanie transferu KV i NIXL WRITE działają w tle, poza krytycznym dla czasu pętlą decode
- 4Testy z Qwen3-32B, topologia 1P1D, EC2 P5en z EFA: nawet 3-krotna poprawa TTFT (z ~1744 ms do ~540 ms przy 8 QPS/16k wejścia) oraz poprawa TPOT z ~10,4 ms do ~7 ms przy dużym obciążeniu
- 5Funkcja zbudowana i zweryfikowana na klastrach AWS Trainium, następnie udostępniona jako rozwiązanie niezależne od akceleratora, działające również na GPU
- 6Tryb pull pozostaje lepszy, gdy potrzebne jest routowanie zależne od obciążenia lub transfer dwukierunkowy; tryb push jest zalecany, gdy priorytetem jest niski TTFT
Dlaczego to ważne?
Rozdzielone serwowanie prefill/decode staje się coraz powszechniejsze w efektywnym skalowaniu infrastruktury LLM, a etap transferu pamięci podręcznej KV bezpośrednio decyduje o tym, jak szybko użytkownik otrzymuje pierwszy token odpowiedzi i jak płynnie generowane są kolejne tokeny — co jest kluczowe dla każdej aplikacji czasu rzeczywistego wrażliwej na opóźnienia.
Co to oznacza dla agentów AI i contact center?
Dla firm uruchamiających własną infrastrukturę LLM dla agentów głosowych lub automatyzacji contact center w czasie rzeczywistym, ta aktualizacja jest istotna głównie wtedy, gdy korzystasz z vLLM z rozdzielonym prefill/decode na klastrach GPU lub Trainium z siecią RDMA, np. EFA. Niższy TTFT oznacza, że agent zaczyna odpowiadać szybciej po zakończeniu wypowiedzi użytkownika, a bardziej stabilny TPOT oznacza mniej przerw w generowanej mowie przy dużej liczbie połączeń. Warto porównać oba tryby konektora (NixlConnector i NixlPushConnector) przy realnym obciążeniu równoległymi połączeniami i długości wejścia przed przejściem na nowe rozwiązanie, ponieważ korzyść zależy od częstotliwości zapytań i długości promptu.
🧪 Warte przetestowania
Przejście na konektor typu push może zmniejszyć opóźnienia odpowiedzi i poprawić stabilność przy dużym obciążeniu równoległymi połączeniami, jeśli korzystasz z własnej infrastruktury LLM opartej na vLLM z rozdzielonym serwowaniem — co bezpośrednio wpływa na odczuwaną responsywność agentów głosowych.
Push-based NIXL KV connector for disaggregated vLLM inference· Nowa
Źródła
- AWS Machine LearningOficjalneŹródło pierwotneOryginalny artykuł →„Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM“19 paź 2026, 19:05
- AWS Machine LearningOficjalneOryginalny artykuł →„Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM“19 paź 2026, 19:03
- Data publikacji źródła
- 19 paź 2026, 19:05
- Znalezione przez nasz system
- 19 paź 2026, 19:13
- Podsumowanie wygenerowano
- 19 paź 2026, 19:15
Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność