Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

Wszystkie wiadomości Modele Agenci Voice AI Automatyzacja Biznes Badania Cyberbezpieczeństwo

Dowolny czas Dziś W tym tygodniu W tym miesiącu🔴 Pilne 🟠 Ważne 🧪 Warte przetestowania

#PyTorch — 3 artykuły ✕

Modele· Ważne· 🧪 Warte przetestowania

AWS i i14 rezygnują z KV cache: model z liniową uwagą 3B na Trainium2

Firma badawcza AI i14 we współpracy z AWS przeniosła swój model Laplace 3B — 24-warstwową architekturę opartą na Gated Linear Attention (GLA) zamiast standardowego mechanizmu uwagi transformerów — na układy AWS Trainium2, wykorzystując natywny PyTorch (TorchNeuron Native). Zamiast rosnącego z każdym tokenem KV cache, model utrzymuje stały stan rekurencyjny o rozmiarze 29,5 MB na sekwencję. Na pojedynczej instancji trn2.48xlarge zespół osiągnął około 120 000 tokenów na sekundę podczas treningu i obsłużył 11 544 tokeny wyjściowe na sekundę przy 1 280 równoległych sekwencjach, korzystając z niezmodyfikowanego silnika vLLM.

31 min temuAWS Machine Learning

Badania· Ważne

Google i Meta zintegrowały natywne wsparcie TPU z frameworkiem treningowym PyTorch TorchTitan

Google wprowadziło TorchTPU – natywny backend PyTorch dla Cloud TPU (torch.device("tpu")) i wspólnie z Meta stworzyło fork TorchTitan dostosowany do treningu na TPU. Wcześniej trening modeli PyTorch na TPU wymagał przepisania kodu na JAX lub korzystania ze starszej ścieżki torch_xla; teraz wystarczają minimalne zmiany w inicjalizacji urządzenia. Fork oferuje gotowe przepisy do wstępnego treningu dużych modeli gęstych (Llama 3 70B/405B, Qwen 3 8B/32B), modeli MoE (Qwen 3 235B) oraz transformerów dyfuzyjnych (FLUX.1 12B), a także „Graph Trainer”, który przechwytuje cały krok treningowy jako jeden program XLA dla lepszej optymalizacji kompilatora.

22 godz. temuGoogle Developers

Modele· Ważne

Google uruchamia natywne silniki wnioskowania PyTorch dla vLLM i SGLang na TPU

Google ogłosił nowe silniki wnioskowania (inference) vLLM i SGLang, zbudowane bezpośrednio na PyTorch dla TPU, opracowane odpowiednio z Inferact i RadixArk. Silniki działają na nowej warstwie TorchTPU, która czyni TPU natywnym urządzeniem PyTorch, zastępując wcześniejsze podejście oparte na JAX. Google podaje publiczny wynik benchmarku na poziomie 2,01 centa za milion tokenów przy konfiguracjach o wysokiej współbieżności w ramach projektu SemiAnalysis InferenceX, a także wsparcie dla obciążeń agentowych, długiego kontekstu, rozproszonego serwowania i modeli multimodalnych.

22 godz. temuGoogle Developers