Amazon SageMaker AI wprowadza routing świadomy pamięci podręcznej KV
W skrócie: Amazon SageMaker AI wprowadziło strategię routingu 'KV_AWARE', która kieruje zapytania LLM do instancji na podstawie stanu ich pamięci podręcznej KV, a nie tylko nagłówków promptów. Optymalizuje to wieloetapowe konwersacje i długie konteksty, zapewniając obsługę zapytań tam, gdzie dane są już dostępne w pamięci GPU.
To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „AWS Machine Learning”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.
Co się zmieniło?
- 1Dodano strategię routingu KV_AWARE dla endpointów czasu rzeczywistego SageMaker.
- 2Wymaga kontenera vLLM (0.33.0 lub nowszy).
- 3Aktywacja za pomocą zmiennej środowiskowej i konfiguracji endpointa.
| Parametr | Było | Jest |
|---|---|---|
| Strategia routingu | RANDOM, LEAST_OUTSTANDING_REQUESTS, PREFIX_AWARE | RANDOM, LEAST_OUTSTANDING_REQUESTS, PREFIX_AWARE, KV_AWARE |
Dlaczego to ważne?
Rozwiązanie zwiększa przepustowość o 234% i skraca czas do uzyskania pierwszego tokena (TTFT) o 97% w przypadku złożonych zadań LLM poprzez redukcję zbędnych obliczeń podczas dużego obciążenia pamięci.
Co to oznacza dla agentów AI i contact center?
Jeśli Twoja firma wdraża LLM na SageMaker, przetestuj to rozwiązanie, aby zoptymalizować koszty i opóźnienia agentów konwersacyjnych. Zastępuje to ręczne strojenie 'PrefixLength' dynamicznym routingiem opartym na pamięci podręcznej, co jest kluczowe w RAG i czatach, gdzie często dochodzi do usuwania wpisów z pamięci.
🧪 Warte przetestowania
Zapewnia znaczący wzrost wydajności w aplikacjach LLM o wysokiej przepustowości i długim kontekście w porównaniu do standardowych metod.
Źródła
- AWS Machine LearningOficjalneŹródło pierwotneOryginalny artykuł →„Amazon SageMaker AI real-time endpoints now support KV cache aware routing“17 lis 2026, 23:11
- Data publikacji źródła
- 17 lis 2026, 23:11
- Znalezione przez nasz system
- 17 lis 2026, 23:16
- Podsumowanie wygenerowano
- 18 lis 2026, 03:52
Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność