Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata
Modeliai· Svarbu· 🧪 Verta testuoti

Amazon SageMaker AI pristatė KV podėliu pagrįstą užklausų nukreipimą

Trumpai: Amazon SageMaker AI pristatė naują 'KV_AWARE' nukreipimo strategiją, kuri nukreipia LLM užklausas į egzempliorius pagal faktinę KV podėlio būseną, o ne tik pagal užklausos pradžią. Tai optimizuoja daugiasluoksnius pokalbius ir ilgo konteksto užduotis, užtikrinant, kad užklausos patektų ten, kur jau saugomi reikiami duomenys.

Šaltinis: AWS Machine LearningAmazonOriginalus straipsnis ↗

Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.

Kas pasikeitė?

  • 1Pridėta KV_AWARE nukreipimo strategija realaus laiko 'SageMaker' galiniams taškams.
  • 2Reikalingas vLLM konteineris (0.33.0 arba naujesnis).
  • 3Įjungiama per aplinkos kintamąjį ir galinio taško konfigūraciją.
ParametrasBuvoDabar
Nukreipimo strategijaRANDOM, LEAST_OUTSTANDING_REQUESTS, PREFIX_AWARERANDOM, LEAST_OUTSTANDING_REQUESTS, PREFIX_AWARE, KV_AWARE

Kodėl tai svarbu?

Sprendimas padidina pralaidumą iki 234% ir sumažina pirmojo žetono gavimo laiką (TTFT) iki 97% sudėtingoms LLM užduotims, sumažinant nereikalingus skaičiavimus esant dideliam atminties apkrovimui.

Ką tai reiškia AI agentams ir kontaktų centrams?

Jei jūsų įmonė naudoja LLM 'SageMaker' platformoje, išbandykite šią funkciją, kad optimizuotumėte delsą ir infrastruktūros sąnaudas. Tai pakeičia rankinį 'PrefixLength' derinimą dinamišku, podėliu pagrįstu paskirstymu, kuris itin efektyvus RAG ir daugiasluoksnių pokalbių metu.

🧪 Verta testuoti

Tai užtikrina žymų našumo padidėjimą vykdant didelės apimties ilgo konteksto LLM programas, palyginus su standartiniais metodais.

KV cache aware routing· Nauja

Šaltiniai

  • AWS Machine LearningOficialusPirminis šaltinis
    „Amazon SageMaker AI real-time endpoints now support KV cache aware routing“
    2026-11-17 23:11
    Originalus straipsnis →
Šaltinio publikavimo data
2026-11-17 23:11
Mūsų sistema rado
2026-11-17 23:16
Santrauka sugeneruota
2026-11-18 03:52

Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas

Amazon SageMaker AI pristatė KV podėliu pagrįstą užklausų nukreipimą · TENESYS AI NEWS