Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.
Firma NVIDIA udostępniła moduł cuda.bindings.cudla, umożliwiający bezpośrednie zarządzanie akceleratorem Deep Learning Accelerator (DLA) na platformie Jetson AGX Orin za pomocą języka Python. Programiści mogą teraz łączyć wstępne przetwarzanie GPU i wnioskowanie DLA w jednym strumieniu CUDA.
Firma NVIDIA udostępniła workflow techniczny umożliwiający uruchomienie modelu MoE GLM-5.3 o 753 mld parametrów na dwóch stacjach DGX wyposażonych w GB300. Dzięki zastosowaniu zrównoleglenia tensorowego (TP=2) poprzez połączenia RDMA i vLLM, można pokonać ograniczenia pamięci pojedynczego GPU (252 GB HBM3e) w przypadku modeli o ogromnej skali.
Projekt llama.cpp oficjalnie osiągnął kamień milowy 1.0.0, trzy i pół roku po powstaniu. Wydanie wprowadza rygorystyczne wersjonowanie semantyczne, aby zapewnić większą przewidywalność dla programistów korzystających z bibliotek C/C++: libllama i libggml.
NVIDIA wprowadziła przepisy wdrożeniowe dla czterech czołowych koreańskich modeli typu open, w tym A.X K2 i Solar Open 2, w ramach frameworka Dynamo. Rozwiązania te są zoptymalizowane pod kątem wielowęzłowych klastrów GPU NVIDIA B200, co pozwala na sprawne skalowanie wnioskowania.
Firma NVIDIA wprowadziła nowe narzędzia optymalizacyjne w TensorRT LLM VisualGen dla modelu FLUX 3 Image Klein. Dzięki zastosowaniu kwantyzacji NVFP4, fuzji jąder obliczeniowych, rzadkiej atencji (sparse attention) oraz buforowania kroków, można uzyskać do 3,46 razy szybsze generowanie obrazu na sprzęcie NVIDIA Blackwell.
NVIDIA wprowadziła cztery punkty kontrolne o 16 miliardach parametrów w rodzinie modeli Cosmos 3 Nano, zaprojektowane do interaktywnej symulacji świata. Modele te umożliwiają deweloperom generowanie syntetycznych danych z wielu czujników, symulowanie ruchów robotów oraz konwersję sygnałów sterujących symulatorem na fotorealistyczne wideo.
NVIDIA wprowadziła pięć filarów ko-projektowania dla platformy Vera Rubin NVL72, mających na celu maksymalizację przepustowości w zadaniach agentowych AI. Łącząc nowe formaty precyzji, takie jak NVFP4, szeroki paralelizyzm ekspertów oraz warstwę serwowania Dynamo, system traktuje pamięć jako zunifikowany, wielopoziomowy zasób między GPU, procesorami hosta a specjalistycznymi systemami pamięci masowej.
NVIDIA wydała CUDA 13.5, osiągając etap ogólnej dostępności dla nowej architektury GPU Vera Rubin. Aktualizacja wprowadza istotne ulepszenia w harmonogramowaniu zasobów przez multi-process service (MPS), partycjonowaniu domen lokalnych oraz głębszą integrację z bibliotekami SIMT poprzez CUDA Tile.
NVIDIA uruchomiła Cosmos, platformę oferującą fundamenty modeli światowych i narzędzia dla Physical AI, dedykowaną zastosowaniom takim jak robotyka czy pojazdy autonomiczne. Framework zawiera modułowe przepisy do uczenia oraz mikrousługi NIM, które przyspieszają inferencję i umożliwiają generowanie zsynchronizowanych danych wideo oraz LiDAR.
NVIDIA udostępniła nowy interfejs wiersza poleceń dla środowiska uruchomieniowego TensorRT Edge-LLM, umożliwiający programistom szybkie tworzenie prototypów i testowanie modeli AI na stacjach roboczych DGX Spark 64GB. Zestaw narzędzi ułatwia lokalne serwowanie modeli i wspiera dekodowanie spekulatywne DSpark, zwiększając wydajność generowania na sprzęcie o ograniczonych zasobach.
NVIDIA wprowadziła Nemotron 3.5 Super VL, multimodalny model 120B z oknem kontekstowym 1M tokenów. Model wykorzystuje hybrydową architekturę Mamba-2 oraz MoE, aby zrównoważyć możliwości rozumowania z wydajnością wnioskowania, i jest gotowy do wdrożenia w środowiskach Amazon EKS oraz SageMaker HyperPod.
Firma NVIDIA wprowadziła Nemotron 3.5 Transcribe, model o otwartych wagach, sterowany za pomocą instrukcji, przeznaczony do zamiany mowy na tekst, diaryzacji mówców i tłumaczeń. Model wykorzystuje hybrydową architekturę Mamba-Transformer, osiągając wiodącą w branży wydajność przy zaledwie 4 miliardach aktywnych parametrów.
NVIDIA udostępniła CUDA 13.4, wprowadzając sprzętowo przezroczyste limity pamięci dla współdzielenia GPU. W połączeniu z nowym operatorem GPU Fractioning i KAI Scheduler v0.18.0, Twoja firma może definiować żądania pamięci, limity wzrostu oraz tryby obliczeniowe bezpośrednio w adnotacjach Podów Kubernetes.
NVIDIA udostępniła zbiory danych 'Nemotron-Personas' dla Francji i Belgii, mające na celu poprawę dokładności modeli LLM w odniesieniu do regionalnych procedur, demografii i niuansów kulturowych. Aktualizacja dostarcza kompletny przepływ pracy post-treningowej – w tym generowanie danych, dostrajanie LoRA przez NVIDIA NeMo oraz ewaluację – aby pomóc deweloperom przejść od modeli ogólnych do agentów specyficznych dla danej dziedziny.
Firma NVIDIA opublikowała strategię optymalizacji wnioskowania MoE, przetestowaną na modelu Ling-3.0-flash o 124 miliardach parametrów. Dzięki zastosowaniu specjalistycznych jąder Humming, precyzji FP8 dla LM head oraz predykcji wielu tokenów (MTP), można uzyskać wzrost przepustowości o 42,5% oraz redukcję opóźnień o 24,5%.
NVIDIA dodała trzy nowe, otwarte i komercyjnie licencjonowane komponenty do linii Nemotron Retriever: modele Embed (8B i 1B, w wersjach BF16 i NVFP4) do przeszukiwania tekstu i obrazów, model Rerank (8B), który porządkuje pobrane dowody według trafności, oraz kompaktowy model Parse o 631M parametrów, który zamienia obrazy dokumentów na ustrukturyzowany tekst. Celem jest dostarczenie agentom AI lepszych, bardziej trafnych dowodów, dzięki czemu potrzebują mniej rund wyszukiwania i mniej tokenów inferencji do udzielenia odpowiedzi. NVIDIA podaje, że nowe modele Embed i Rerank zajmują pierwsze miejsca w rankingach ViDoRe v3.1 odpowiednio dla wyszukiwania gęstego i rerankingu.