Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja

Modele AI

Nowe modele i wersje od OpenAI, Anthropic, Google, Meta, Mistral, xAI, DeepSeek, Qwen i innych.

#Caching — 1 artykuł ✕

Modele· Ważne· 🧪 Warte przetestowania

Amazon SageMaker AI wprowadza routing świadomy pamięci podręcznej KV

Amazon SageMaker AI wprowadziło strategię routingu 'KV_AWARE', która kieruje zapytania LLM do instancji na podstawie stanu ich pamięci podręcznej KV, a nie tylko nagłówków promptów. Optymalizuje to wieloetapowe konwersacje i długie konteksty, zapewniając obsługę zapytań tam, gdzie dane są już dostępne w pamięci GPU.

AWS Machine Learning