Amazon SageMaker AI pristatė KV podėliu pagrįstą užklausų nukreipimą
Trumpai: Amazon SageMaker AI pristatė naują 'KV_AWARE' nukreipimo strategiją, kuri nukreipia LLM užklausas į egzempliorius pagal faktinę KV podėlio būseną, o ne tik pagal užklausos pradžią. Tai optimizuoja daugiasluoksnius pokalbius ir ilgo konteksto užduotis, užtikrinant, kad užklausos patektų ten, kur jau saugomi reikiami duomenys.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Pridėta KV_AWARE nukreipimo strategija realaus laiko 'SageMaker' galiniams taškams.
- 2Reikalingas vLLM konteineris (0.33.0 arba naujesnis).
- 3Įjungiama per aplinkos kintamąjį ir galinio taško konfigūraciją.
| Parametras | Buvo | Dabar |
|---|---|---|
| Nukreipimo strategija | RANDOM, LEAST_OUTSTANDING_REQUESTS, PREFIX_AWARE | RANDOM, LEAST_OUTSTANDING_REQUESTS, PREFIX_AWARE, KV_AWARE |
Kodėl tai svarbu?
Sprendimas padidina pralaidumą iki 234% ir sumažina pirmojo žetono gavimo laiką (TTFT) iki 97% sudėtingoms LLM užduotims, sumažinant nereikalingus skaičiavimus esant dideliam atminties apkrovimui.
Ką tai reiškia AI agentams ir kontaktų centrams?
Jei jūsų įmonė naudoja LLM 'SageMaker' platformoje, išbandykite šią funkciją, kad optimizuotumėte delsą ir infrastruktūros sąnaudas. Tai pakeičia rankinį 'PrefixLength' derinimą dinamišku, podėliu pagrįstu paskirstymu, kuris itin efektyvus RAG ir daugiasluoksnių pokalbių metu.
🧪 Verta testuoti
Tai užtikrina žymų našumo padidėjimą vykdant didelės apimties ilgo konteksto LLM programas, palyginus su standartiniais metodais.
Šaltiniai
- AWS Machine LearningOficialusPirminis šaltinisOriginalus straipsnis →„Amazon SageMaker AI real-time endpoints now support KV cache aware routing“2026-11-17 23:11
- Šaltinio publikavimo data
- 2026-11-17 23:11
- Mūsų sistema rado
- 2026-11-17 23:16
- Santrauka sugeneruota
- 2026-11-18 03:52
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas