Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja
Modele· Ważne· 🧪 Warte przetestowania

Amazon SageMaker AI wprowadza routing świadomy pamięci podręcznej KV

W skrócie: Amazon SageMaker AI wprowadziło strategię routingu 'KV_AWARE', która kieruje zapytania LLM do instancji na podstawie stanu ich pamięci podręcznej KV, a nie tylko nagłówków promptów. Optymalizuje to wieloetapowe konwersacje i długie konteksty, zapewniając obsługę zapytań tam, gdzie dane są już dostępne w pamięci GPU.

Źródło: AWS Machine LearningAmazonOryginalny artykuł ↗

To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „AWS Machine Learning”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.

Co się zmieniło?

  • 1Dodano strategię routingu KV_AWARE dla endpointów czasu rzeczywistego SageMaker.
  • 2Wymaga kontenera vLLM (0.33.0 lub nowszy).
  • 3Aktywacja za pomocą zmiennej środowiskowej i konfiguracji endpointa.
ParametrByłoJest
Strategia routinguRANDOM, LEAST_OUTSTANDING_REQUESTS, PREFIX_AWARERANDOM, LEAST_OUTSTANDING_REQUESTS, PREFIX_AWARE, KV_AWARE

Dlaczego to ważne?

Rozwiązanie zwiększa przepustowość o 234% i skraca czas do uzyskania pierwszego tokena (TTFT) o 97% w przypadku złożonych zadań LLM poprzez redukcję zbędnych obliczeń podczas dużego obciążenia pamięci.

Co to oznacza dla agentów AI i contact center?

Jeśli Twoja firma wdraża LLM na SageMaker, przetestuj to rozwiązanie, aby zoptymalizować koszty i opóźnienia agentów konwersacyjnych. Zastępuje to ręczne strojenie 'PrefixLength' dynamicznym routingiem opartym na pamięci podręcznej, co jest kluczowe w RAG i czatach, gdzie często dochodzi do usuwania wpisów z pamięci.

🧪 Warte przetestowania

Zapewnia znaczący wzrost wydajności w aplikacjach LLM o wysokiej przepustowości i długim kontekście w porównaniu do standardowych metod.

KV cache aware routing· Nowa

Źródła

  • AWS Machine LearningOficjalneŹródło pierwotne
    „Amazon SageMaker AI real-time endpoints now support KV cache aware routing“
    17 lis 2026, 23:11
    Oryginalny artykuł →
Data publikacji źródła
17 lis 2026, 23:11
Znalezione przez nasz system
17 lis 2026, 23:16
Podsumowanie wygenerowano
18 lis 2026, 03:52

Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność

Amazon SageMaker AI wprowadza routing świadomy pamięci podręcznej KV · TENESYS AI NEWS