Google udostępniło Agent Substrate 1.0, platformę open-source do obsługi sesji agentów AI w środowisku Kubernetes. Dzięki oddzieleniu sesji stanowych od zasobów obliczeniowych, możliwe jest „parkowanie” bezczynnych agentów w pamięci obiektowej, co zwalnia zasoby węzłów roboczych.
Amazon wprowadził framework do identyfikacji cichych uszkodzeń danych (SDC) w treningu rozproszonym, gdzie uszkodzony sprzęt zwraca błędne wyniki matematyczne bez generowania logów błędów. Poprzez integrację trzech własnych testów – weryfikacji gradientów, audytów powtarzania pętli i odcisków palców wag – z pętlami treningowymi PyTorch DDP, możesz wykrywać, izolować i wymieniać uszkodzone węzły.
AWS opublikowało przewodnik tworzenia architektury sterowanej zdarzeniami, która automatycznie synchronizuje schematy narzędzi Model Context Protocol (MCP) z AWS Agent Registry. Wykorzystując AWS CloudTrail, EventBridge i Lambda, ten proces wykrywa zmiany w czasie wykonywania i aktualizuje rejestr za każdym razem, gdy ewoluuje schemat narzędzi serwera MCP.
Google udostępniło dwie nowe funkcje SQL w AlloyDB, ai.classify oraz ai.extract, umożliwiające uruchamianie operacji opartych na Gemini bezpośrednio w PostgreSQL 18. Funkcje te automatyzują przetwarzanie nieustrukturyzowanego tekstu, jak analiza sentymentu czy ekstrakcja do JSON, bez konieczności stosowania zewnętrznych wrapperów API.
NVIDIA zintegrowała projekt open-source k8s-aibom ze swoim środowiskiem AI Cluster Runtime (AICR). Pozwala to zespołom platformowym na automatyczne generowanie i audytowanie listy materiałów AI (AIBOM) dla obciążeń działających w Kubernetes, umożliwiając identyfikację modeli, środowisk uruchomieniowych wnioskowania oraz zależności.
NVIDIA udostępniła NVIDIA Kubernetes Engine (NVKE) oraz NVIDIA Kubernetes Recipes (NVKR) jako projekty open source w ramach publicznej wersji zapoznawczej. Narzędzia te mają na celu wsparcie w budowaniu, wdrażaniu i zarządzaniu klastrami Kubernetes zoptymalizowanymi pod kątem zadań akcelerowanych przez GPU.
NVIDIA wprowadziła open-source'owe narzędzie NVIDIA Snapshot dla zadań GPU działających w środowisku Kubernetes. Poprzez zapisywanie w pełni zainicjowanych modeli i ich stanów, system pozwala replikom wnioskowania (inference) na wznowienie pracy w kilka sekund zamiast minut, eliminując powtarzalne etapy inicjalizacji.
Google Cloud udostępniło Gemini for healthcare, platformę stworzoną w celu integracji rozproszonych danych klinicznych i administracyjnych w ujednolicone procesy robocze. Rozwiązanie koncentruje się na zmniejszeniu obciążenia administracyjnego lekarzy poprzez automatyzację zadań, takich jak synteza dokumentacji medycznej i weryfikacja uprawnień.
Możesz teraz tworzyć i wizualizować aplikacje wykorzystujące dane Google Maps, Places oraz Routes bezpośrednio w środowisku Google AI Studio. Dzięki wykorzystaniu zapytań w języku naturalnym, platforma automatycznie zarządza konfiguracją API i kluczami, oferując darmową piaskownicę do eksperymentów przed wdrożeniem produkcyjnym.
Google Cloud uruchomiło funkcję dynamicznego dzielenia zasobów TPU (dynamic slicing) w GKE, co pozwala na rozdzielenie logicznych konfiguracji sprzętowych od fizycznych pul węzłów. To rozwiązanie eliminuje konieczność ręcznego przebudowywania pul podczas zmiany wymagań, przyspieszając wdrażanie zadań i zwiększając odporność systemów na awarie.
Usługa Amazon SageMaker Inference wprowadziła obsługę NVIDIA Multi-Instance GPU (MIG), co pozwala na dzielenie pojedynczego fizycznego procesora graficznego na wiele niezależnych jednostek. Ten podział sprzętowy zapewnia każdej partycji dedykowane zasoby obliczeniowe i pamięć, gwarantując przewidywalne opóźnienia oraz silną izolację pomiędzy modelami hostowanymi na tym samym akceleratorze.
Firma NVIDIA udostępniła w modelu open-source narzędzie „NVIDIA Attribution”, służące do korelowania logów, metryk i stanów harmonogramu w ustrukturyzowane diagnozy dla rozproszonych zadań uczenia AI. Poprzez identyfikację przyczyn źródłowych i oddzielanie ich od symptomów wtórnych (takich jak błędy NCCL), pomaga ono zespołom infrastrukturalnym w skuteczniejszym zarządzaniu dużymi klastrami GPU.
NVIDIA Recovery to nowa usługa open-source zaprojektowana w celu utrzymania produktywności trenowania poprzez automatyzację obsługi błędów w klastrach GPU. Zastępuje ona ręczny nadzór systematyczną pętlą, która wykrywa awarie, przypisuje ich przyczyny oraz uruchamia restarty lub izolację węzłów.
Firma NVIDIA udostępniła zaktualizowane receptury AI Cluster Runtime (AICR), zaprojektowane w celu usprawnienia wdrażania Kubernetes na nowym sprzęcie Vera Rubin NVL72. Receptury te dostarczają wstępnie zweryfikowane konfiguracje sterowników, jąder systemu i komponentów sieciowych, zapewniając gotowość klastrów do pracy od pierwszego dnia.
NVIDIA wprowadziła „Workload Map”, narzędzie zapewniające ujednolicony sposób interpretacji rozproszonych obciążeń AI przez planery i platformy Kubernetes. Dzięki deklaratywnym definicjom YAML eliminuje potrzebę tworzenia niestandardowych adapterów dla każdego nowego frameworka, takiego jak JobSet, Ray czy KServe.
Firma NVIDIA udostępniła AI Cluster Runtime (AICR), aby pakować infrastrukturę inferencyjną Dynamo w zweryfikowane przepisy wdrożeniowe. Ta aktualizacja upraszcza proces instalacji poprzez przypinanie wersji komponentów i usuwanie obowiązkowych zależności, takich jak NATS, wprowadzając jednocześnie nowe ścieżki routingu oparte na pamięci KV dla Kubernetes.
Skuteczna automatyzacja zależy od tego, jak przepływy pracy radzą sobie z ograniczeniami API. Poradnik ten rozróżnia rate limiting (twarde limity prowadzące do błędów 429) od throttlingu (opóźnianie zapytań) i dostarcza strategie, takie jak wykładnicze wycofywanie (exponential backoff), jitter oraz aktywne grupowanie zapytań (batching) w celu zapewnienia niezawodności.
AWS wprowadziło gotowe kontenery Ray Train Deep Learning (DLC), które integrują biblioteki PyTorch, CUDA, NCCL oraz EFA w jednym przetestowanym obrazie. To podejście pozwala Twojej firmie wdrażać klastry do uczenia rozproszonego na Amazon EKS bez konieczności utrzymywania własnych potoków budowania obrazów czy rozwiązywania złożonych problemów z kompatybilnością sterowników.
AWS zaktualizowało swoje rozwiązanie referencyjne QA Studio, dodając obsługę struktur wielozespołowych. Nowe funkcje obejmują zarządzanie własnością na poziomie aplikacji, automatyczną ocenę stanu testów na podstawie metryk CloudWatch oraz szczegółową kontrolę dostępu opartą na rolach.
n8n 3.0 w wersji beta skupia się na stabilności architektury, zaostrzeniu domyślnych ustawień bezpieczeństwa i usunięciu starszych funkcjonalności. Wdrożenie modelu opartego wyłącznie na kontenerach (Docker) jest teraz obowiązkowe dla własnych instancji, a użytkownicy muszą skorzystać z wbudowanego raportu migracji, aby obsłużyć kluczowe zmiany przed grudniową premierą stabilnej wersji.
NVIDIA rozszerzyła platformę Mission Control o funkcje autonomicznego odzyskiwania dla środowisk Kubernetes zarządzanych przez Run:ai. System rozdziela procesy naprawy zadań od konserwacji sprzętu, co umożliwia wznawianie zadań treningowych na zdrowych węzłach podczas jednoczesnej diagnostyki uszkodzonej infrastruktury.
NVIDIA zaprezentowała Minerva, platformę operacyjną łączącą telemetrię z GPU, sprzętu sieciowego, pamięci masowej i uruchomionych zadań, aby operatorzy mogli wykrywać problemy w ogromnych klastrach GPU, zanim doprowadzą one do przestojów. Modele uczenia maszynowego tworzą na bieżąco mapę sprzętu i obciążeń, oznaczają nietypowe zachowania i grupują powiązane alerty w jeden incydent z prawdopodobną przyczyną, zamiast zalewać zespoły osobnymi powiadomieniami. Wbudowany asystent pozwala pytać o stan klastra w języku naturalnym, a system może łączyć się z narzędziami automatyzacji, by wdrażać poprawki. IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI i Tesla planują jej wdrożenie, a Dell, Lenovo i Supermicro będą oferować ją w ramach swoich rozwiązań infrastrukturalnych.