AWS udostępnia open source'owe optymalizacje kerneli MoE dla vLLM – mniejsze opóźnienia i wyższa przepustowość na H200
W skrócie: AWS przedstawił trzy optymalizacje na poziomie kerneli dla obsługi modeli Mixture-of-Experts (MoE) na GPU Hopper, opracowane we współpracy ze społecznością vLLM i wdrożone w kontenerze LMI Amazon SageMaker AI. Zmiany eliminują nieefektywność obliczeń fused MoE podczas fazy dekodowania z małymi partiami, gdzie wcześniej rdzenie Tensor Core były niedostatecznie wykorzystywane. Łącznie optymalizacje dają do 10% wyższą przepustowość i do 9% szybszy czas do pierwszego tokena (TTFT).
To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „AWS Machine Learning”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.
Co się zmieniło?
- 1Transpozycja Swap-AB dopasowuje operandy macierzy do układu sprzętowego WGMMA w Hopper – wzrost przepustowości end-to-end o 2-4% na H200 dla dużych modeli MoE; wprowadzone do vLLM 0.24.0+
- 2Kierowanie modeli MoE skwantyzowanych w FP8 do backendu Triton zamiast domyślnego FlashInfer+CUTLASS daje 10% poprawę przepustowości end-to-end na H200, dostępne w kontenerze AWS LMI v28
- 3Eliminacja zbędnej rekompilacji JIT w Triton (poprzez adnotacje do_not_specialize) dla zmiennej liczby tokenów poprawiła TTFT o 9% na H200 przy 8-kierunkowym tensor parallelism; wprowadzone do vLLM 0.22.0+
Dlaczego to ważne?
Dla zespołów uruchamiających otwarte modele MoE LLM w produkcyjnych potokach wnioskowania, te zmiany zmniejszają koszt na token i opóźnienie bez konieczności zmiany kodu poza aktualizacją wersji kontenera vLLM/LMI, co ma bezpośrednie znaczenie dla zadań konwersacyjnej AI w czasie rzeczywistym lub niemal rzeczywistym.
Co to oznacza dla agentów AI i contact center?
Jeśli część Twojego stosu technologicznego uruchamia samodzielnie hostowane otwarte modele LLM przez vLLM (np. za agentami głosowymi, podsumowaniami rozmów lub potokami wywołań narzędzi) na SageMaker lub podobnej infrastrukturze opartej na Hopper, aktualizacja do wymienionych wersji (vLLM 0.22.0+/0.24.0+, LMI v28) może obniżyć opóźnienie i koszt przy minimalnym nakładzie inżynieryjnym; warto zbadać TTFT i przepustowość przed i po aktualizacji na rzeczywistym obciążeniu.
🧪 Warte przetestowania
Zespoły samodzielnie hostujące modele oparte na MoE do zadań konwersacyjnych o niskim opóźnieniu mogą bezpośrednio skorzystać z szybszego TTFT i wyższej przepustowości, po prostu aktualizując wersje kontenera vLLM/LMI – to test o niskim nakładzie pracy, ale mierzalny.
Fused MoE kernel optimizations (Swap-AB, Triton FP8 routing, JIT recompilation fix)· Nowa
Źródła
- AWS Machine LearningOficjalneŹródło pierwotneOryginalny artykuł →„Mixture-of-Experts kernel engineering on Amazon SageMaker AI“13 paź 2026, 18:17
- Data publikacji źródła
- 13 paź 2026, 18:17
- Znalezione przez nasz system
- 13 paź 2026, 18:41
- Podsumowanie wygenerowano
- 13 paź 2026, 18:42
Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność