AWS i i14 rezygnują z KV cache: model z liniową uwagą 3B na Trainium2
W skrócie: Firma badawcza AI i14 we współpracy z AWS przeniosła swój model Laplace 3B — 24-warstwową architekturę opartą na Gated Linear Attention (GLA) zamiast standardowego mechanizmu uwagi transformerów — na układy AWS Trainium2, wykorzystując natywny PyTorch (TorchNeuron Native). Zamiast rosnącego z każdym tokenem KV cache, model utrzymuje stały stan rekurencyjny o rozmiarze 29,5 MB na sekwencję. Na pojedynczej instancji trn2.48xlarge zespół osiągnął około 120 000 tokenów na sekundę podczas treningu i obsłużył 11 544 tokeny wyjściowe na sekundę przy 1 280 równoległych sekwencjach, korzystając z niezmodyfikowanego silnika vLLM.
To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „AWS Machine Learning”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.
Co się zmieniło?
- 1Przeznaczone wyłącznie dla GPU jądro Triton dla GLA zostało przepisane w czystym PyTorch, dzieląc sekwencje na 16 fragmentów po 128 tokenów, tak aby każdy fragment pasował do partycji pamięci on-chip SBUF w Trainium2
- 2Komunikacja międzyrangowa optymalizatora Muon została przebudowana z podwójną wymianą all_to_all, redukując ruch danych na rangę 24-krotnie i zwiększając szybkość treningu 1,63-krotnie
- 316-etapowy wsteczny przebieg GLA został w pełni rozwinięty w czasie kompilacji, aby statyczny kompilator Trainium2 mógł obsłużyć sekwencyjną rekurencję w granicach pamięci i harmonogramowania
- 4Ponieważ stan rekurencyjny nie rośnie, wydłużenie promptu z 2 048 do 8 192 tokenów zwiększyło koszt generowania jednego tokenu wyjściowego tylko o pół procenta, a stały stan jest około 82-krotnie mniejszy niż odpowiadający mu KV cache przy kontekście 8 192 tokenów
| Parametr | Było | Jest |
|---|---|---|
| Architektura | Softmax uwaga transformerów z rosnącym KV cache | Gated Linear Attention (GLA) ze stałym stanem rekurencyjnym |
| Parametry | Nie określono | 3,028B (2,718B Muon + 309,6M AdamW) |
| Pamięć na sekwencję | KV cache rośnie wraz z długością kontekstu | Stały stan rekurencyjny 29,5 MB niezależnie od długości kontekstu |
| Szybkość treningu | 73 378 tokenów/s (gather-broadcast Muon) | 119 934 tokenów/s (all_to_all Muon), ~120 000 tokenów/s ogółem na trn2.48xlarge |
| Szybkość wnioskowania | Nie określono | 11 544 tokeny wyjściowe na sekundę przy 1 280 równoległych sekwencjach |
| Okno kontekstu | 2 048 tokenów długości sekwencji treningowej | Testowane do 8 192 tokenów, dodając jedynie 0,5% kosztu na token wyjściowy |
Dlaczego to ważne?
Rosnący KV cache ogranicza ilość historii rozmowy lub dokumentu, jaką model LLM może tanio utrzymać podczas długich sesji. Model o stałym zużyciu pamięci na sekwencję może wspierać dłużej działających agentów i analizę dużych dokumentów bez typowych kar pamięciowych i kosztowych, choć jakość odtwarzania informacji w porównaniu z pełną uwagą nadal wymaga indywidualnej oceny.
Co to oznacza dla agentów AI i contact center?
Dla zespołów prowadzących agentów głosowych lub boty contact center, które muszą zachować długą historię rozmów lub dużo kontekstu w trakcie konwersacji, ta architektura wskazuje sposób na utrzymanie stałego zużycia pamięci i kosztów obliczeniowych mimo rosnącego kontekstu, zamiast skalowania proporcjonalnie do długości rozmowy; przed wdrożeniem warto porównać dokładność odtwarzania informacji na własnych transkrypcjach z obecnym modelem opartym na transformerach oraz zmierzyć opóźnienie i koszt za minutę.
🧪 Warte przetestowania
Stały wzrost pamięci i kosztów niezależny od długości kontekstu jest bezpośrednio istotny dla długich sesji głosowych/contact center, ale jakość odtwarzania informacji w porównaniu z pełną uwagą należy zweryfikować na rzeczywistych transkrypcjach rozmów przed przełączeniem.
Źródła
- AWS Machine LearningOficjalneŹródło pierwotneOryginalny artykuł →„Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch“21 paź 2026, 00:14
- Data publikacji źródła
- 21 paź 2026, 00:14
- Znalezione przez nasz system
- 21 paź 2026, 00:16
- Podsumowanie wygenerowano
- 21 paź 2026, 00:19
Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność