TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.
#Scaling — 3 artykuły ✕
Firma Amazon udostępniła SGLang-Neuron – wtyczkę, która pozwala programistom uruchamiać wielkoskalowe modele AI na sprzęcie AWS Trainium przy użyciu standardowego interfejsu SGLang. Integracja ta umożliwia natywne wykonywanie kodu PyTorch i wspiera zaawansowane funkcje, takie jak PD disaggregation za pośrednictwem EFA, w celu optymalizacji serwowania modeli.
NVIDIA wprowadziła open-source'owe narzędzie NVIDIA Snapshot dla zadań GPU działających w środowisku Kubernetes. Poprzez zapisywanie w pełni zainicjowanych modeli i ich stanów, system pozwala replikom wnioskowania (inference) na wznowienie pracy w kilka sekund zamiast minut, eliminując powtarzalne etapy inicjalizacji.
Google zaktualizowało framework do trenowania modeli typu open-source, MaxText, wprowadzając wsparcie dla ekstremalnie długich sekwencji na jednostkach Cloud TPU. Dzięki czterem nowym strategiom paralelizacji kontekstu, możliwe jest wydajne trenowanie modeli o zasięgu do 14 mln tokenów, co rozwiązuje problemy z pamięcią i wąskimi gardłami w komunikacji.