Google udostępniło dwie nowe funkcje SQL w AlloyDB, ai.classify oraz ai.extract, umożliwiające uruchamianie operacji opartych na Gemini bezpośrednio w PostgreSQL 18. Funkcje te automatyzują przetwarzanie nieustrukturyzowanego tekstu, jak analiza sentymentu czy ekstrakcja do JSON, bez konieczności stosowania zewnętrznych wrapperów API.
NVIDIA zintegrowała projekt open-source k8s-aibom ze swoim środowiskiem AI Cluster Runtime (AICR). Pozwala to zespołom platformowym na automatyczne generowanie i audytowanie listy materiałów AI (AIBOM) dla obciążeń działających w Kubernetes, umożliwiając identyfikację modeli, środowisk uruchomieniowych wnioskowania oraz zależności.
NVIDIA wprowadziła open-source'owe narzędzie NVIDIA Snapshot dla zadań GPU działających w środowisku Kubernetes. Poprzez zapisywanie w pełni zainicjowanych modeli i ich stanów, system pozwala replikom wnioskowania (inference) na wznowienie pracy w kilka sekund zamiast minut, eliminując powtarzalne etapy inicjalizacji.
Google Cloud uruchomiło funkcję dynamicznego dzielenia zasobów TPU (dynamic slicing) w GKE, co pozwala na rozdzielenie logicznych konfiguracji sprzętowych od fizycznych pul węzłów. To rozwiązanie eliminuje konieczność ręcznego przebudowywania pul podczas zmiany wymagań, przyspieszając wdrażanie zadań i zwiększając odporność systemów na awarie.
Usługa Amazon SageMaker Inference wprowadziła obsługę NVIDIA Multi-Instance GPU (MIG), co pozwala na dzielenie pojedynczego fizycznego procesora graficznego na wiele niezależnych jednostek. Ten podział sprzętowy zapewnia każdej partycji dedykowane zasoby obliczeniowe i pamięć, gwarantując przewidywalne opóźnienia oraz silną izolację pomiędzy modelami hostowanymi na tym samym akceleratorze.
NVIDIA wprowadziła „Workload Map”, narzędzie zapewniające ujednolicony sposób interpretacji rozproszonych obciążeń AI przez planery i platformy Kubernetes. Dzięki deklaratywnym definicjom YAML eliminuje potrzebę tworzenia niestandardowych adapterów dla każdego nowego frameworka, takiego jak JobSet, Ray czy KServe.
Firma NVIDIA udostępniła AI Cluster Runtime (AICR), aby pakować infrastrukturę inferencyjną Dynamo w zweryfikowane przepisy wdrożeniowe. Ta aktualizacja upraszcza proces instalacji poprzez przypinanie wersji komponentów i usuwanie obowiązkowych zależności, takich jak NATS, wprowadzając jednocześnie nowe ścieżki routingu oparte na pamięci KV dla Kubernetes.
AWS wprowadziło gotowe kontenery Ray Train Deep Learning (DLC), które integrują biblioteki PyTorch, CUDA, NCCL oraz EFA w jednym przetestowanym obrazie. To podejście pozwala Twojej firmie wdrażać klastry do uczenia rozproszonego na Amazon EKS bez konieczności utrzymywania własnych potoków budowania obrazów czy rozwiązywania złożonych problemów z kompatybilnością sterowników.
NVIDIA zaprezentowała Minerva, platformę operacyjną łączącą telemetrię z GPU, sprzętu sieciowego, pamięci masowej i uruchomionych zadań, aby operatorzy mogli wykrywać problemy w ogromnych klastrach GPU, zanim doprowadzą one do przestojów. Modele uczenia maszynowego tworzą na bieżąco mapę sprzętu i obciążeń, oznaczają nietypowe zachowania i grupują powiązane alerty w jeden incydent z prawdopodobną przyczyną, zamiast zalewać zespoły osobnymi powiadomieniami. Wbudowany asystent pozwala pytać o stan klastra w języku naturalnym, a system może łączyć się z narzędziami automatyzacji, by wdrażać poprawki. IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI i Tesla planują jej wdrożenie, a Dell, Lenovo i Supermicro będą oferować ją w ramach swoich rozwiązań infrastrukturalnych.
NVIDIA wprowadza nową konfigurację 64GB zunifikowanej pamięci dla swojego osobistego superkomputera AI DGX Spark, dostępną u partnerów takich jak Acer, ASUS, Dell, HP, Gigabyte i MSI od 23 października w cenie 4 999 USD. System uruchamia lokalnie na urządzeniu modele do 100 miliardów parametrów, a dwie jednostki można połączyć w klaster za pomocą NVIDIA Sync Cluster Assistant, łącząc pamięć do 128GB i obsługując modele do 200 miliardów parametrów, z zyskiem wydajności do 1,7x w teście NVIDIA Qwen 3.8 27B. Urządzenie jest dostarczane z NVIDIA Agent Toolkit, bibliotekami CUDA-X AI, modelami Nemotron oraz wsparciem dla Ollama, vLLM i PyTorch od razu po wyjęciu z pudełka.