Firma NVIDIA udostępniła workflow techniczny umożliwiający uruchomienie modelu MoE GLM-5.3 o 753 mld parametrów na dwóch stacjach DGX wyposażonych w GB300. Dzięki zastosowaniu zrównoleglenia tensorowego (TP=2) poprzez połączenia RDMA i vLLM, można pokonać ograniczenia pamięci pojedynczego GPU (252 GB HBM3e) w przypadku modeli o ogromnej skali.
Projekt llama.cpp oficjalnie osiągnął kamień milowy 1.0.0, trzy i pół roku po powstaniu. Wydanie wprowadza rygorystyczne wersjonowanie semantyczne, aby zapewnić większą przewidywalność dla programistów korzystających z bibliotek C/C++: libllama i libggml.
NVIDIA zintegrowała projekt open-source k8s-aibom ze swoim środowiskiem AI Cluster Runtime (AICR). Pozwala to zespołom platformowym na automatyczne generowanie i audytowanie listy materiałów AI (AIBOM) dla obciążeń działających w Kubernetes, umożliwiając identyfikację modeli, środowisk uruchomieniowych wnioskowania oraz zależności.
NVIDIA udostępniła NVIDIA Kubernetes Engine (NVKE) oraz NVIDIA Kubernetes Recipes (NVKR) jako projekty open source w ramach publicznej wersji zapoznawczej. Narzędzia te mają na celu wsparcie w budowaniu, wdrażaniu i zarządzaniu klastrami Kubernetes zoptymalizowanymi pod kątem zadań akcelerowanych przez GPU.
NVIDIA wprowadziła open-source'owe narzędzie NVIDIA Snapshot dla zadań GPU działających w środowisku Kubernetes. Poprzez zapisywanie w pełni zainicjowanych modeli i ich stanów, system pozwala replikom wnioskowania (inference) na wznowienie pracy w kilka sekund zamiast minut, eliminując powtarzalne etapy inicjalizacji.
NVIDIA przekazała projekt Agent Substrate do CNCF Sandbox, aby rozwiązać problem nieefektywnego uruchamiania agentów AI w środowisku Kubernetes. Platforma pozwala na multipleksowanie wielu sesji agentów w małej puli aktywnych podów typu worker poprzez zapisywanie stanu pamięci i systemu plików w okresach bezczynności.
NVIDIA wprowadziła przepisy wdrożeniowe dla czterech czołowych koreańskich modeli typu open, w tym A.X K2 i Solar Open 2, w ramach frameworka Dynamo. Rozwiązania te są zoptymalizowane pod kątem wielowęzłowych klastrów GPU NVIDIA B200, co pozwala na sprawne skalowanie wnioskowania.
NVIDIA wprowadziła „Open Agent Safety Platform” z runtime’em „OpenShell”, zapewniającym bezpieczne, izolowane środowisko uruchomieniowe i zarządzanie politykami dla agentów AI. Jednocześnie „LG AI Research” udostępniło API do modelu „K-EXAONE-2.5”, wspieranego przez nowy zestaw danych „Nemotron-Personas-Korea”, zawierający 7 milionów syntetycznych osobowości.
Firma NVIDIA wprowadziła nowe narzędzia optymalizacyjne w TensorRT LLM VisualGen dla modelu FLUX 3 Image Klein. Dzięki zastosowaniu kwantyzacji NVFP4, fuzji jąder obliczeniowych, rzadkiej atencji (sparse attention) oraz buforowania kroków, można uzyskać do 3,46 razy szybsze generowanie obrazu na sprzęcie NVIDIA Blackwell.