Google uruchamia natywne silniki wnioskowania PyTorch dla vLLM i SGLang na TPU
W skrócie: Google ogłosił nowe silniki wnioskowania (inference) vLLM i SGLang, zbudowane bezpośrednio na PyTorch dla TPU, opracowane odpowiednio z Inferact i RadixArk. Silniki działają na nowej warstwie TorchTPU, która czyni TPU natywnym urządzeniem PyTorch, zastępując wcześniejsze podejście oparte na JAX. Google podaje publiczny wynik benchmarku na poziomie 2,01 centa za milion tokenów przy konfiguracjach o wysokiej współbieżności w ramach projektu SemiAnalysis InferenceX, a także wsparcie dla obciążeń agentowych, długiego kontekstu, rozproszonego serwowania i modeli multimodalnych.
To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „Google Developers”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.
Co się zmieniło?
- 1Nowe natywne backendy PyTorch dla vLLM i SGLang na TPU poprzez warstwę TorchTPU
- 2Obsługa cache'owania prefiksów, wywoływania narzędzi, ustrukturyzowanego wyjścia, dekodowania spekulacyjnego, rozdzielonego serwowania prefill/decode
- 3Nowa biblioteka TPU Sync do przenoszenia pamięci podręcznej KV między hostami bez dodatkowego kopiowania buforowego
- 4Najniższy zgłoszony koszt 2,01 centa za milion tokenów w publicznych testach InferenceX
- 5Zademonstrowano 700+ tokenów/s na użytkownika dla modelu Kimi K3 o 2,8T parametrów na Ironwood TPU
- 6Obsługa popularnych rodzin modeli open source: Qwen, DeepSeek, GLM, Kimi, GPT-OSS, Gemma4
- 7Istniejące projekty oparte na JAX, vLLM-Jax i SGLang-JAX, są nadal utrzymywane
| Parametr | Było | Jest |
|---|---|---|
| Framework serwujący | Backendy vLLM/SGLang oparte na JAX na TPU | Natywne backendy PyTorch (TorchTPU) dla vLLM i SGLang na TPU |
| Koszt za milion tokenów | Nie określono | 2,01 centa przy dużej współbieżności (najniższy zgłoszony w teście SemiAnalysis InferenceX) |
| Obsługa obciążeń agentowych/długiego kontekstu | Nie określono | Automatyczne cache'owanie prefiksów, przenoszenie pamięci KV przez TPU Sync, wywoływanie narzędzi, ustrukturyzowane wyjś |
| Tokeny na sekundę (na użytkownika) | Nie określono | 700+ tokenów/s dla modelu Kimi K3 o 2,8T parametrów na Ironwood TPU przez Pallas megakernel |
Dlaczego to ważne?
To zmiana infrastrukturalna dla każdego, kto prowadzi wnioskowanie LLM na dużą skalę na Google TPU przy użyciu stosów open source — zespoły korzystające już z PyTorch mogą łatwiej wdrażać modele na sprzęcie TPU, potencjalnie obniżając koszty wnioskowania przy dużej współbieżności, w tym w scenariuszach agentowych i wieloetapowych (multi-turn).
Co to oznacza dla agentów AI i contact center?
Ta wiadomość dotyczy niskopoziomowej infrastruktury wnioskowania LLM na sprzęcie Google TPU i nie jest bezpośrednio istotna, chyba że rozważane jest hostowanie własnych dużych modeli językowych dla agentów głosowych na infrastrukturze TPU; nie wpływa bezpośrednio na procesy STT/TTS ani integracje telefoniczne.
Źródła
- Google DevelopersOficjalneŹródło pierwotneOryginalny artykuł →„Announcing New vLLM and SGLang Inference Engines on TPU“20 paź 2026, 03:00
- Data publikacji źródła
- 20 paź 2026, 03:00
- Znalezione przez nasz system
- 20 paź 2026, 18:15
- Podsumowanie wygenerowano
- 20 paź 2026, 18:17
Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność