NVIDIA wprowadziła „Workload Map”, narzędzie zapewniające ujednolicony sposób interpretacji rozproszonych obciążeń AI przez planery i platformy Kubernetes. Dzięki deklaratywnym definicjom YAML eliminuje potrzebę tworzenia niestandardowych adapterów dla każdego nowego frameworka, takiego jak JobSet, Ray czy KServe.
Firma NVIDIA udostępniła AI Cluster Runtime (AICR), aby pakować infrastrukturę inferencyjną Dynamo w zweryfikowane przepisy wdrożeniowe. Ta aktualizacja upraszcza proces instalacji poprzez przypinanie wersji komponentów i usuwanie obowiązkowych zależności, takich jak NATS, wprowadzając jednocześnie nowe ścieżki routingu oparte na pamięci KV dla Kubernetes.
NVIDIA udostępniła nowy interfejs wiersza poleceń dla środowiska uruchomieniowego TensorRT Edge-LLM, umożliwiający programistom szybkie tworzenie prototypów i testowanie modeli AI na stacjach roboczych DGX Spark 64GB. Zestaw narzędzi ułatwia lokalne serwowanie modeli i wspiera dekodowanie spekulatywne DSpark, zwiększając wydajność generowania na sprzęcie o ograniczonych zasobach.
NVIDIA zaprezentowała NemoClaw, framework oparty na otwartych szablonach, który integruje środowiska uruchomieniowe agentów z zoptymalizowanymi modelami Nemotron. Pozwala to programistom na wdrażanie agentów działających na własnej infrastrukturze przy zachowaniu ścisłej kontroli bezpieczeństwa.
NVIDIA wprowadziła Nemotron 3.5 Super VL, multimodalny model 120B z oknem kontekstowym 1M tokenów. Model wykorzystuje hybrydową architekturę Mamba-2 oraz MoE, aby zrównoważyć możliwości rozumowania z wydajnością wnioskowania, i jest gotowy do wdrożenia w środowiskach Amazon EKS oraz SageMaker HyperPod.
AWS wprowadziło gotowe kontenery Ray Train Deep Learning (DLC), które integrują biblioteki PyTorch, CUDA, NCCL oraz EFA w jednym przetestowanym obrazie. To podejście pozwala Twojej firmie wdrażać klastry do uczenia rozproszonego na Amazon EKS bez konieczności utrzymywania własnych potoków budowania obrazów czy rozwiązywania złożonych problemów z kompatybilnością sterowników.
Firma NVIDIA wprowadziła Nemotron 3.5 Transcribe, model o otwartych wagach, sterowany za pomocą instrukcji, przeznaczony do zamiany mowy na tekst, diaryzacji mówców i tłumaczeń. Model wykorzystuje hybrydową architekturę Mamba-Transformer, osiągając wiodącą w branży wydajność przy zaledwie 4 miliardach aktywnych parametrów.
NVIDIA udostępniła CUDA 13.4, wprowadzając sprzętowo przezroczyste limity pamięci dla współdzielenia GPU. W połączeniu z nowym operatorem GPU Fractioning i KAI Scheduler v0.18.0, Twoja firma może definiować żądania pamięci, limity wzrostu oraz tryby obliczeniowe bezpośrednio w adnotacjach Podów Kubernetes.
NVIDIA udostępniła zbiory danych 'Nemotron-Personas' dla Francji i Belgii, mające na celu poprawę dokładności modeli LLM w odniesieniu do regionalnych procedur, demografii i niuansów kulturowych. Aktualizacja dostarcza kompletny przepływ pracy post-treningowej – w tym generowanie danych, dostrajanie LoRA przez NVIDIA NeMo oraz ewaluację – aby pomóc deweloperom przejść od modeli ogólnych do agentów specyficznych dla danej dziedziny.
Firma NVIDIA opublikowała strategię optymalizacji wnioskowania MoE, przetestowaną na modelu Ling-3.0-flash o 124 miliardach parametrów. Dzięki zastosowaniu specjalistycznych jąder Humming, precyzji FP8 dla LM head oraz predykcji wielu tokenów (MTP), można uzyskać wzrost przepustowości o 42,5% oraz redukcję opóźnień o 24,5%.
NVIDIA rozszerzyła platformę Mission Control o funkcje autonomicznego odzyskiwania dla środowisk Kubernetes zarządzanych przez Run:ai. System rozdziela procesy naprawy zadań od konserwacji sprzętu, co umożliwia wznawianie zadań treningowych na zdrowych węzłach podczas jednoczesnej diagnostyki uszkodzonej infrastruktury.
Cohere udostępniło publiczną wersję beta „Confidential Computing on Model Vault”, działającą na GPU NVIDIA H100 za pośrednictwem Microsoft Azure. System szyfruje dane w trakcie przetwarzania zarówno na CPU, jak i GPU, szyfruje samą treść żądania przy użyciu Oblivious HTTP (OHTTP) oraz stosuje zdalną atestację, dzięki czemu klient może zweryfikować środowisko przed wysłaniem wrażliwych danych. Jeśli weryfikacja się nie powiedzie, klient odmawia wysłania chronionego żądania. Cohere planuje udostępnić kod stosu poufnego wnioskowania jako open source i rozszerzyć wsparcie o GPU NVIDIA Blackwell (B200) w drodze do pełnej dostępności.
NVIDIA zaprezentowała Minerva, platformę operacyjną łączącą telemetrię z GPU, sprzętu sieciowego, pamięci masowej i uruchomionych zadań, aby operatorzy mogli wykrywać problemy w ogromnych klastrach GPU, zanim doprowadzą one do przestojów. Modele uczenia maszynowego tworzą na bieżąco mapę sprzętu i obciążeń, oznaczają nietypowe zachowania i grupują powiązane alerty w jeden incydent z prawdopodobną przyczyną, zamiast zalewać zespoły osobnymi powiadomieniami. Wbudowany asystent pozwala pytać o stan klastra w języku naturalnym, a system może łączyć się z narzędziami automatyzacji, by wdrażać poprawki. IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI i Tesla planują jej wdrożenie, a Dell, Lenovo i Supermicro będą oferować ją w ramach swoich rozwiązań infrastrukturalnych.
NVIDIA rozbudowała platformę Cosmos, przeznaczoną do tworzenia „modeli świata” dla fizycznej sztucznej inteligencji i robotyki, dodając nowe szablony do generowania danych, możliwości dostosowywania modeli oraz szybsze wdrażanie. Aktualizacja obejmuje pięć szablonów Cosmos Data Factory do syntetycznych i wzbogaconych danych treningowych, rozszerzone wsparcie Cosmos Framework dla dostosowywania otwartych modeli, takich jak GR00T, Alpamayo, QWEN i Pi0.5, oraz zaktualizowane mikroserwisy Cosmos 3 NIM. Firmy takie jak Porsche, ANYbotics, Ultralytics i ADNOC już wykorzystują te narzędzia do generowania danych dla pojazdów autonomicznych, wykrywania anomalii przez roboty, kontroli defektów i monitoringu bezpieczeństwa.
Zespół NVIDIA BioNeMo wspólnie z Institute for Protein Design na Uniwersytecie Waszyngtońskim zaprezentował RFD4-Proteina – model, który w jednym kroku generuje zarówno sekwencję białka, jak i pełną strukturę atomową, eliminując oddzielny etap inverse-folding stosowany we wcześniejszych rozwiązaniach. Dzięki pracy na reprezentacji na poziomie reszt (residue-level) oraz uproszczonemu procesowi dyfuzji, model wymaga tylko około 60 kroków odszumiania zamiast wcześniejszych ok. 400, co przekłada się na wyraźnie szybsze generowanie i znacznie mniejsze zużycie pamięci niż poprzednik RFD3 przy generowaniu białka o 200 resztach. Podczas generowania model może także prowadzić wyszukiwanie sterowane nagrodą (reward-guided search), które ocenia i rozwija częściowe projekty za pomocą narzędzi przyspieszanych przez GPU, takich jak OpenFold3 i TMol. Model jest dostępny zarówno jako otwarty model na GitHub, jak i jako mikroserwis NIM z interfejsem HTTP, a dedykowane narzędzia pozwalają zautomatyzowanym agentom łączyć etapy generowania, wyszukiwania i oceny.
Google Cloud i NVIDIA ogłosiły ogólną dostępność instancji A5X opartych na GPU NVIDIA Vera Rubin NVL72, kartach ConnectX-9 SuperNIC oraz sieci Google Virgo, przeznaczonych do zadań agentowych i uczenia ze wzmocnieniem na dużą skalę. Google Cloud planuje rozbudować infrastrukturę Vera Rubin do nawet 960 000 GPU Rubin w wielu lokalizacjach, z ogólną dostępnością w przyszłym miesiącu i planowaną ekspansją do Europy. Pierwszym klientem jest londyńska firma Ineffable Intelligence, założona przez twórcę AlphaGo Davida Silvera, wykorzystująca platformę do budowy systemów „superlearner”.
NVIDIA dodała trzy nowe, otwarte i komercyjnie licencjonowane komponenty do linii Nemotron Retriever: modele Embed (8B i 1B, w wersjach BF16 i NVFP4) do przeszukiwania tekstu i obrazów, model Rerank (8B), który porządkuje pobrane dowody według trafności, oraz kompaktowy model Parse o 631M parametrów, który zamienia obrazy dokumentów na ustrukturyzowany tekst. Celem jest dostarczenie agentom AI lepszych, bardziej trafnych dowodów, dzięki czemu potrzebują mniej rund wyszukiwania i mniej tokenów inferencji do udzielenia odpowiedzi. NVIDIA podaje, że nowe modele Embed i Rerank zajmują pierwsze miejsca w rankingach ViDoRe v3.1 odpowiednio dla wyszukiwania gęstego i rerankingu.
NVIDIA opublikowała OpenShell — otwartoźródłowe środowisko uruchomieniowe, które traktuje obciążenia agentów jako niezaufane i przyznaje dostęp do plików, narzędzi i systemów tylko wtedy, gdy jest to potrzebne. Towarzyszy temu nowy procesor NVIDIA Vera oraz opcjonalnie karty BlueField-4 DPU z NVIDIA Sentry do sprzętowego monitorowania. NVIDIA twierdzi, że razem tworzą one pełną architekturę referencyjną do bezpiecznego działania autonomicznych agentów na skalę centrów danych.
NVIDIA przedstawiła Sentry, nowy framework bezpieczeństwa działający poza zasięgiem agenta AI, egzekwujący polityki i monitorujący zachowanie z wydzielonej, zaufanej domeny sprzętowej na kartach DPU BlueField-4. Pomysł jest prosty: nawet jeśli agent zostanie przejęty lub zacznie działać niezgodnie z zamierzeniem podczas korzystania z narzędzi i poświadczeń, Sentry nadal go obserwuje i może go odciąć, ponieważ nie zależy od systemu hosta, na którym agent działa. Dwa komponenty wykonują zasadniczą pracę – DOCA Tower, proxy sprawdzające i autoryzujące każde żądanie sieciowe agenta, oraz DOCA Argus, odczytujący pamięć w czasie rzeczywistym, aby zrozumieć, co faktycznie się dzieje. Gdy coś wygląda podejrzanie, system może odizolować agenta w ciągu milisekund, bez potrzeby współpracy ze strony agenta czy hosta.
NVIDIA wydała Cosmos3-H-Dreams, model fundamentowy świata (world foundation model), który generuje interaktywne sceny chirurgiczne w czasie rzeczywistym na podstawie kinematyki robota z rzeczywistych zabiegów cholecystektomii zarejestrowanych na platformie CMR Surgical Versius. Model zbudowany na bazie 16-miliardowego modelu Cosmos3-H-Embodied-Nano i przyspieszony biblioteką strumieniowego wnioskowania FlashDreams firmy NVIDIA działa na pojedynczym GPU RTX PRO 6000. System uczy się wizualnej dynamiki chirurgicznej bezpośrednio z danych wideo i kinematyki, zamiast jawnego modelowania fizyki, i oferuje destylowane punkty kontrolne czterokrokowe i dwukrokowe, pozwalające wybrać kompromis między jakością a szybkością.