Firma NVIDIA udostępniła moduł cuda.bindings.cudla, umożliwiający bezpośrednie zarządzanie akceleratorem Deep Learning Accelerator (DLA) na platformie Jetson AGX Orin za pomocą języka Python. Programiści mogą teraz łączyć wstępne przetwarzanie GPU i wnioskowanie DLA w jednym strumieniu CUDA.
Firma NVIDIA udostępniła workflow techniczny umożliwiający uruchomienie modelu MoE GLM-5.3 o 753 mld parametrów na dwóch stacjach DGX wyposażonych w GB300. Dzięki zastosowaniu zrównoleglenia tensorowego (TP=2) poprzez połączenia RDMA i vLLM, można pokonać ograniczenia pamięci pojedynczego GPU (252 GB HBM3e) w przypadku modeli o ogromnej skali.
Projekt llama.cpp oficjalnie osiągnął kamień milowy 1.0.0, trzy i pół roku po powstaniu. Wydanie wprowadza rygorystyczne wersjonowanie semantyczne, aby zapewnić większą przewidywalność dla programistów korzystających z bibliotek C/C++: libllama i libggml.
NVIDIA zintegrowała projekt open-source k8s-aibom ze swoim środowiskiem AI Cluster Runtime (AICR). Pozwala to zespołom platformowym na automatyczne generowanie i audytowanie listy materiałów AI (AIBOM) dla obciążeń działających w Kubernetes, umożliwiając identyfikację modeli, środowisk uruchomieniowych wnioskowania oraz zależności.
NVIDIA udostępniła NVIDIA Kubernetes Engine (NVKE) oraz NVIDIA Kubernetes Recipes (NVKR) jako projekty open source w ramach publicznej wersji zapoznawczej. Narzędzia te mają na celu wsparcie w budowaniu, wdrażaniu i zarządzaniu klastrami Kubernetes zoptymalizowanymi pod kątem zadań akcelerowanych przez GPU.
NVIDIA wprowadziła open-source'owe narzędzie NVIDIA Snapshot dla zadań GPU działających w środowisku Kubernetes. Poprzez zapisywanie w pełni zainicjowanych modeli i ich stanów, system pozwala replikom wnioskowania (inference) na wznowienie pracy w kilka sekund zamiast minut, eliminując powtarzalne etapy inicjalizacji.
NVIDIA przekazała projekt Agent Substrate do CNCF Sandbox, aby rozwiązać problem nieefektywnego uruchamiania agentów AI w środowisku Kubernetes. Platforma pozwala na multipleksowanie wielu sesji agentów w małej puli aktywnych podów typu worker poprzez zapisywanie stanu pamięci i systemu plików w okresach bezczynności.
NVIDIA wprowadziła przepisy wdrożeniowe dla czterech czołowych koreańskich modeli typu open, w tym A.X K2 i Solar Open 2, w ramach frameworka Dynamo. Rozwiązania te są zoptymalizowane pod kątem wielowęzłowych klastrów GPU NVIDIA B200, co pozwala na sprawne skalowanie wnioskowania.
NVIDIA wprowadziła „Open Agent Safety Platform” z runtime’em „OpenShell”, zapewniającym bezpieczne, izolowane środowisko uruchomieniowe i zarządzanie politykami dla agentów AI. Jednocześnie „LG AI Research” udostępniło API do modelu „K-EXAONE-2.5”, wspieranego przez nowy zestaw danych „Nemotron-Personas-Korea”, zawierający 7 milionów syntetycznych osobowości.
Firma NVIDIA wprowadziła nowe narzędzia optymalizacyjne w TensorRT LLM VisualGen dla modelu FLUX 3 Image Klein. Dzięki zastosowaniu kwantyzacji NVFP4, fuzji jąder obliczeniowych, rzadkiej atencji (sparse attention) oraz buforowania kroków, można uzyskać do 3,46 razy szybsze generowanie obrazu na sprzęcie NVIDIA Blackwell.
Usługa Amazon SageMaker Inference wprowadziła obsługę NVIDIA Multi-Instance GPU (MIG), co pozwala na dzielenie pojedynczego fizycznego procesora graficznego na wiele niezależnych jednostek. Ten podział sprzętowy zapewnia każdej partycji dedykowane zasoby obliczeniowe i pamięć, gwarantując przewidywalne opóźnienia oraz silną izolację pomiędzy modelami hostowanymi na tym samym akceleratorze.
NVIDIA zaprezentowała procesor Vera, zaprojektowany w celu optymalizacji wydajności agentów AI, którzy przełączają się między rozumowaniem GPU a zadaniami CPU. Architektura ta rozwiązuje problemy z limitami mocy i przepustowością, z jakimi borykają się centra danych korzystające ze standardowej infrastruktury x86.
NVIDIA wprowadziła cztery punkty kontrolne o 16 miliardach parametrów w rodzinie modeli Cosmos 3 Nano, zaprojektowane do interaktywnej symulacji świata. Modele te umożliwiają deweloperom generowanie syntetycznych danych z wielu czujników, symulowanie ruchów robotów oraz konwersję sygnałów sterujących symulatorem na fotorealistyczne wideo.
NVIDIA wprowadziła pięć filarów ko-projektowania dla platformy Vera Rubin NVL72, mających na celu maksymalizację przepustowości w zadaniach agentowych AI. Łącząc nowe formaty precyzji, takie jak NVFP4, szeroki paralelizyzm ekspertów oraz warstwę serwowania Dynamo, system traktuje pamięć jako zunifikowany, wielopoziomowy zasób między GPU, procesorami hosta a specjalistycznymi systemami pamięci masowej.
NVIDIA wprowadziła „AI Factory Operations Agent”, framework oparty na „NemoClaw” i „OpenShell”, zaprojektowany w celu automatyzacji zarządzania i diagnostyki rozległych klastrów GPU. Dzięki wykorzystaniu wyspecjalizowanych agentów i protokołu „Model Context Protocol” (MCP), inżynierowie mogą przeprowadzać analizę przyczyn awarii na warstwach sprzętowej, sieciowej i programowej za pośrednictwem ujednoliconego interfejsu czatu.
NVIDIA wydała CUDA 13.5, osiągając etap ogólnej dostępności dla nowej architektury GPU Vera Rubin. Aktualizacja wprowadza istotne ulepszenia w harmonogramowaniu zasobów przez multi-process service (MPS), partycjonowaniu domen lokalnych oraz głębszą integrację z bibliotekami SIMT poprzez CUDA Tile.
NVIDIA wprowadziła workflow pozwalający na przekształcenie błędów agentów wykrytych w środowisku produkcyjnym w ustrukturyzowane testy przy użyciu NeMo Compass i NeMo Eval Author. Proces ten analizuje logi, identyfikuje powtarzające się problemy, generuje celowane testy i waliduje wprowadzane poprawki.
Firma NVIDIA udostępniła w modelu open-source narzędzie „NVIDIA Attribution”, służące do korelowania logów, metryk i stanów harmonogramu w ustrukturyzowane diagnozy dla rozproszonych zadań uczenia AI. Poprzez identyfikację przyczyn źródłowych i oddzielanie ich od symptomów wtórnych (takich jak błędy NCCL), pomaga ono zespołom infrastrukturalnym w skuteczniejszym zarządzaniu dużymi klastrami GPU.
NVIDIA Recovery to nowa usługa open-source zaprojektowana w celu utrzymania produktywności trenowania poprzez automatyzację obsługi błędów w klastrach GPU. Zastępuje ona ręczny nadzór systematyczną pętlą, która wykrywa awarie, przypisuje ich przyczyny oraz uruchamia restarty lub izolację węzłów.
Firma NVIDIA udostępniła zaktualizowane receptury AI Cluster Runtime (AICR), zaprojektowane w celu usprawnienia wdrażania Kubernetes na nowym sprzęcie Vera Rubin NVL72. Receptury te dostarczają wstępnie zweryfikowane konfiguracje sterowników, jąder systemu i komponentów sieciowych, zapewniając gotowość klastrów do pracy od pierwszego dnia.
NVIDIA uruchomiła Cosmos, platformę oferującą fundamenty modeli światowych i narzędzia dla Physical AI, dedykowaną zastosowaniom takim jak robotyka czy pojazdy autonomiczne. Framework zawiera modułowe przepisy do uczenia oraz mikrousługi NIM, które przyspieszają inferencję i umożliwiają generowanie zsynchronizowanych danych wideo oraz LiDAR.
NVIDIA wprowadziła „Workload Map”, narzędzie zapewniające ujednolicony sposób interpretacji rozproszonych obciążeń AI przez planery i platformy Kubernetes. Dzięki deklaratywnym definicjom YAML eliminuje potrzebę tworzenia niestandardowych adapterów dla każdego nowego frameworka, takiego jak JobSet, Ray czy KServe.
Firma NVIDIA udostępniła AI Cluster Runtime (AICR), aby pakować infrastrukturę inferencyjną Dynamo w zweryfikowane przepisy wdrożeniowe. Ta aktualizacja upraszcza proces instalacji poprzez przypinanie wersji komponentów i usuwanie obowiązkowych zależności, takich jak NATS, wprowadzając jednocześnie nowe ścieżki routingu oparte na pamięci KV dla Kubernetes.
NVIDIA udostępniła nowy interfejs wiersza poleceń dla środowiska uruchomieniowego TensorRT Edge-LLM, umożliwiający programistom szybkie tworzenie prototypów i testowanie modeli AI na stacjach roboczych DGX Spark 64GB. Zestaw narzędzi ułatwia lokalne serwowanie modeli i wspiera dekodowanie spekulatywne DSpark, zwiększając wydajność generowania na sprzęcie o ograniczonych zasobach.