NVIDIA udostępniła nowy interfejs wiersza poleceń dla środowiska uruchomieniowego TensorRT Edge-LLM, umożliwiający programistom szybkie tworzenie prototypów i testowanie modeli AI na stacjach roboczych DGX Spark 64GB. Zestaw narzędzi ułatwia lokalne serwowanie modeli i wspiera dekodowanie spekulatywne DSpark, zwiększając wydajność generowania na sprzęcie o ograniczonych zasobach.
NVIDIA zaprezentowała NemoClaw, framework oparty na otwartych szablonach, który integruje środowiska uruchomieniowe agentów z zoptymalizowanymi modelami Nemotron. Pozwala to programistom na wdrażanie agentów działających na własnej infrastrukturze przy zachowaniu ścisłej kontroli bezpieczeństwa.
NVIDIA wprowadziła Nemotron 3.5 Super VL, multimodalny model 120B z oknem kontekstowym 1M tokenów. Model wykorzystuje hybrydową architekturę Mamba-2 oraz MoE, aby zrównoważyć możliwości rozumowania z wydajnością wnioskowania, i jest gotowy do wdrożenia w środowiskach Amazon EKS oraz SageMaker HyperPod.
AWS wprowadziło gotowe kontenery Ray Train Deep Learning (DLC), które integrują biblioteki PyTorch, CUDA, NCCL oraz EFA w jednym przetestowanym obrazie. To podejście pozwala Twojej firmie wdrażać klastry do uczenia rozproszonego na Amazon EKS bez konieczności utrzymywania własnych potoków budowania obrazów czy rozwiązywania złożonych problemów z kompatybilnością sterowników.
Firma NVIDIA wprowadziła Nemotron 3.5 Transcribe, model o otwartych wagach, sterowany za pomocą instrukcji, przeznaczony do zamiany mowy na tekst, diaryzacji mówców i tłumaczeń. Model wykorzystuje hybrydową architekturę Mamba-Transformer, osiągając wiodącą w branży wydajność przy zaledwie 4 miliardach aktywnych parametrów.
NVIDIA udostępniła CUDA 13.4, wprowadzając sprzętowo przezroczyste limity pamięci dla współdzielenia GPU. W połączeniu z nowym operatorem GPU Fractioning i KAI Scheduler v0.18.0, Twoja firma może definiować żądania pamięci, limity wzrostu oraz tryby obliczeniowe bezpośrednio w adnotacjach Podów Kubernetes.
NVIDIA udostępniła zbiory danych 'Nemotron-Personas' dla Francji i Belgii, mające na celu poprawę dokładności modeli LLM w odniesieniu do regionalnych procedur, demografii i niuansów kulturowych. Aktualizacja dostarcza kompletny przepływ pracy post-treningowej – w tym generowanie danych, dostrajanie LoRA przez NVIDIA NeMo oraz ewaluację – aby pomóc deweloperom przejść od modeli ogólnych do agentów specyficznych dla danej dziedziny.
Firma NVIDIA opublikowała strategię optymalizacji wnioskowania MoE, przetestowaną na modelu Ling-3.0-flash o 124 miliardach parametrów. Dzięki zastosowaniu specjalistycznych jąder Humming, precyzji FP8 dla LM head oraz predykcji wielu tokenów (MTP), można uzyskać wzrost przepustowości o 42,5% oraz redukcję opóźnień o 24,5%.
NVIDIA rozszerzyła platformę Mission Control o funkcje autonomicznego odzyskiwania dla środowisk Kubernetes zarządzanych przez Run:ai. System rozdziela procesy naprawy zadań od konserwacji sprzętu, co umożliwia wznawianie zadań treningowych na zdrowych węzłach podczas jednoczesnej diagnostyki uszkodzonej infrastruktury.
Cohere udostępniło publiczną wersję beta „Confidential Computing on Model Vault”, działającą na GPU NVIDIA H100 za pośrednictwem Microsoft Azure. System szyfruje dane w trakcie przetwarzania zarówno na CPU, jak i GPU, szyfruje samą treść żądania przy użyciu Oblivious HTTP (OHTTP) oraz stosuje zdalną atestację, dzięki czemu klient może zweryfikować środowisko przed wysłaniem wrażliwych danych. Jeśli weryfikacja się nie powiedzie, klient odmawia wysłania chronionego żądania. Cohere planuje udostępnić kod stosu poufnego wnioskowania jako open source i rozszerzyć wsparcie o GPU NVIDIA Blackwell (B200) w drodze do pełnej dostępności.
NVIDIA dodała trzy nowe, otwarte i komercyjnie licencjonowane komponenty do linii Nemotron Retriever: modele Embed (8B i 1B, w wersjach BF16 i NVFP4) do przeszukiwania tekstu i obrazów, model Rerank (8B), który porządkuje pobrane dowody według trafności, oraz kompaktowy model Parse o 631M parametrów, który zamienia obrazy dokumentów na ustrukturyzowany tekst. Celem jest dostarczenie agentom AI lepszych, bardziej trafnych dowodów, dzięki czemu potrzebują mniej rund wyszukiwania i mniej tokenów inferencji do udzielenia odpowiedzi. NVIDIA podaje, że nowe modele Embed i Rerank zajmują pierwsze miejsca w rankingach ViDoRe v3.1 odpowiednio dla wyszukiwania gęstego i rerankingu.
Google Cloud opublikował architekturę referencyjną dla agentów AI koordynujących długotrwałe, wymagające GPU zadania naukowe, takie jak zwijanie białek i przesiewanie związków chemicznych, które łamią standardowy model pojedynczego agenta LLM z powodu limitów czasu i przepełnienia kontekstu. Architektura oddziela orkiestratora kognitywnego (Gemini na Agent Runtime) od warstwy wykonawczej GPU (NVIDIA NIM, np. ESMFold i GenMol, działające na GKE) i obejmuje całość warstwą zarządzania z tożsamością agenta, bramą, rejestrem i ochroną Model Armor. Przedstawiono też najlepsze praktyki: przekazywanie dużych danych przez odniesienie zamiast wprost, strumieniowanie pośrednich aktualizacji postępu oraz wymaganie zgody człowieka dla nieodwracalnych działań.
Meta opublikowała Muse Spark Open – model mixture-of-experts o otwartych wagach, liczący około 816 miliardów parametrów łącznie i 42 miliardy aktywnych na token. Przyjmuje tekst, obrazy, audio i wideo, a generuje tekst, wykorzystując kontekst do 1 miliona tokenów. Meta przedstawia go jako model zoptymalizowany pod kątem kodowania i pracy agentowej, zbudowany na architekturze mniejszego modelu Muse Glimmer, określając go jako najbardziej zaawansowany jak dotąd amerykański model o otwartych wagach.
NVIDIA opublikowała studium przypadku pokazujące, jak Siemens EDA wykorzystał otwartą bibliotekę ewaluacyjną NeMo Gym, by usprawnić agenta do charakteryzacji chipów. Zamiast sprawdzać pojedyncze wywołania narzędzi, zespół oceniał kompletne pliki wynikowe za pomocą wyspecjalizowanego weryfikatora, a wzorce błędów wykorzystał do przepisania instrukcji umiejętności agenta i opisów narzędzi MCP. Po kilku rundach tej pętli łączny wynik benchmarku wzrósł z około 55% do 95%, a agent potrzebował znacznie mniej kroków i mniej danych wyjściowych. W eksperymentach wykorzystano około 25 przebiegów ewaluacyjnych z Claude Opus 4.8 jako modelem agenta działającym w Claude Code.
Liquid AI opublikowało LFM2.5-24B-A2B, model typu mixture-of-experts z 24B parametrów łącznie, ale tylko 2B aktywnych na token, zaprojektowany do uruchamiania agentów rozumujących na lokalnym sprzęcie. Wersja ta rozszerza okno kontekstu do 131K tokenów, podwaja rozmiar słownika i została wytrenowana na mniej więcej dwukrotnie większej ilości danych wstępnych niż poprzednik. W testach agentowych i wywołań narzędzi model dorównuje lub przewyższa modele mające około 50% więcej parametrów, oferując przy tym szybkie wnioskowanie zarówno na sprzęcie konsumenckim, jak i w centrach danych.
NVIDIA ogłosiła, że cała platforma Run:ai jest teraz open source i staje się fundamentem NVIDIA DSX AI Factory Platform do orkiestracji obciążeń AI i GPU na Kubernetes. Wydanie obejmuje cztery modułowe komponenty — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management i Workload Map — które można wdrażać razem lub niezależnie. Osiem partnerów ekosystemu, w tym Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud i vCluster, integruje platformę ze swoimi usługami.
NVIDIA opublikowała szczegółowy workflow do fine-tuningu swojego wielojęzycznego, strumieniowego modelu Nemotron 3.5 ASR na saudyjskich dialektach arabskich (nadżdyjskim i hidżaskim). Przy minimalnej kuracji danych, mieszaniu replay z danymi FLEURS, bucketingu opartym na czasie trwania oraz częściowym odmrażaniu enkodera, zmniejszono wskaźnik błędu słów (WER) dla docelowych dialektów z 55,05% do 29,96%, jednocześnie nieznacznie poprawiając wyniki dla języka angielskiego i innych dialektów arabskich. We wpisie omówiono też modyfikacje dekodowania oraz rozszerzenia diaryzacji mówców dla transkrypcji wielomówcowej.