Google pristatė natūralius PyTorch išvedimo variklius vLLM ir SGLang, skirtus TPU
Trumpai: Google paskelbė naujus vLLM ir SGLang išvedimo (inference) variklius, sukurtus tiesiogiai ant PyTorch TPU įrenginiams, kuriuos kūrė kartu su Inferact ir RadixArk. Varikliai veikia ant naujo TorchTPU sluoksnio, kuris paverčia TPU natūraliu PyTorch įrenginiu, pakeisdamas ankstesnį JAX pagrindu veikusį sprendimą. Google praneša apie viešą 2,01 cento už milijoną tokenų savikainą esant dideliam lygiagretumui per SemiAnalysis InferenceX projektą, taip pat palaikomus agentinius darbo krūvius, ilgą kontekstą, atskirtą (disaggregated) aptarnavimą ir multimodalius modelius.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Google Developers“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Nauji natūralūs PyTorch varikliai vLLM ir SGLang, skirti TPU, per TorchTPU sluoksnį
- 2Palaikomas prefiksų talpinimas (prefix caching), įrankių kvietimas, struktūrizuota išvestis, spekuliatyvus dekodavimas, atskirtas prefill/decode aptarnavimas
- 3Nauja TPU Sync biblioteka KV talpyklos perkėlimui tarp mazgų be papildomo buferinio kopijavimo
- 4Mažiausia viešai pranešta savikaina – 2,01 cento už milijoną tokenų InferenceX viešuose testuose
- 5700+ tokenų per sekundę vienam naudotojui parodyta su 2,8T parametrų Kimi K3 modeliu Ironwood TPU
- 6Palaikomos populiarios atvirojo kodo modelių šeimos: Qwen, DeepSeek, GLM, Kimi, GPT-OSS, Gemma4
- 7Esami JAX pagrindu veikiantys vLLM-Jax ir SGLang-JAX projektai toliau prižiūrimi
| Parametras | Buvo | Dabar |
|---|---|---|
| Aptarnavimo karkasas | JAX pagrindu veikiantys vLLM/SGLang backend'ai TPU | Natūralūs PyTorch backend'ai (TorchTPU) vLLM ir SGLang TPU |
| Savikaina už milijoną tokenų | Nenurodyta | 2,01 cento esant dideliam lygiagretumui (žemiausia pranešta SemiAnalysis InferenceX teste) |
| Agentinio/ilgo konteksto palaikymas | Nenurodyta | Automatinis prefiksų talpinimas, KV talpyklos perkėlimas per TPU Sync, įrankių kvietimas, struktūrizuota išvestis, atski |
| Tokenų per sekundę (vienam naudotojui) | Nenurodyta | 700+ tokenų/s 2,8T parametrų Kimi K3 modeliui Ironwood TPU per Pallas megakernel |
Kodėl tai svarbu?
Tai infrastruktūrinis pokytis visiems, kurie dideliu mastu vykdo LLM išvedimą Google TPU su atvirojo kodo aptarnavimo sprendimais – komandoms, jau naudojančioms PyTorch, lengviau diegti modelius TPU aparatinėje įrangoje, potencialiai mažinant išvedimo kaštus esant dideliam lygiagretumui, įskaitant agentinius ir daugiapakopius (multi-turn) scenarijus.
Ką tai reiškia AI agentams ir kontaktų centrams?
Ši naujiena susijusi su žemo lygio LLM išvedimo infrastruktūra Google TPU aparatinėje įrangoje ir nėra tiesiogiai aktuali, nebent svarstoma galimybė talpinti savo didelius kalbos modelius balso agentams TPU infrastruktūroje; ji nepaveikia STT/TTS procesų ar telefonijos integracijų tiesiogiai.
Šaltiniai
- Google DevelopersOficialusPirminis šaltinisOriginalus straipsnis →„Announcing New vLLM and SGLang Inference Engines on TPU“2026-10-20 03:00
- Šaltinio publikavimo data
- 2026-10-20 03:00
- Mūsų sistema rado
- 2026-10-20 18:15
- Santrauka sugeneruota
- 2026-10-20 18:17
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas