„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.
„llama.cpp“ projektas oficialiai pasiekė 1.0.0 versijos etapą praėjus trejiems su puse metų nuo įkūrimo. Šiame leidime pristatomas griežtas semantinis versijavimas, siekiant užtikrinti geresnį nuspėjamumą kūrėjams, naudojantiems „libllama“ ir „libggml“ C/C++ bibliotekas.
NVIDIA į savo „AI Cluster Runtime“ (AICR) įrankį integravo atvirojo kodo „k8s-aibom“ projektą. Tai leidžia platformų komandoms automatiškai generuoti ir audituoti dirbtinio intelekto komponentų sąrašus (AIBOM) Kubernetes aplinkoje, identifikuojant modelius, išvados (inference) aplinkas bei priklausomybes.
NVIDIA pristatė „NVIDIA Kubernetes Engine“ (NVKE) ir „NVIDIA Kubernetes Recipes“ (NVKR) kaip atvirojo kodo projektus viešajai peržiūrai. Šie įrankiai skirti padėti kurti, diegti ir valdyti „Kubernetes“ klasterius, specialiai optimizuotus GPU pagreitinamiems darbams.
„NVIDIA“ pristatė atviro kodo įrankį „NVIDIA Snapshot“, skirtą GPU darbo krūviams „Kubernetes“ aplinkoje. Įrašydama pilnai sukonfigūruotus modelius ir jų būsenas, sistema leidžia išvadų (inference) replikoms atsigauti per sekundes, o ne minutes, taip pašalinant pasikartojančius inicijavimo etapus.
NVIDIA prisidėjo „Agent Substrate“ projektu prie „CNCF Sandbox“, siekdama išspręsti neefektyvų AI agentų veikimą „Kubernetes“ aplinkoje. Platforma leidžia sujungti daugybę agentų sesijų į nedidelį aktyvių „worker“ pod'ų telkinį, išsaugant atminties ir failų sistemos būsenas neveiklos metu.
NVIDIA pristatė diegimo receptus keturiems svarbiems Korėjos atviro kodo modeliams, tokiems kaip A.X K2 ir „Solar Open 2“, naudojant „Dynamo“ sistemą. Šie receptai yra specialiai pritaikyti kelių mazgų NVIDIA B200 GPU klasteriams, kad būtų galima efektyviai vykdyti didelio masto išvadas (inference).
NVIDIA pristatė „Open Agent Safety Platform“ su „OpenShell“ aplinka, skirta saugiam autonominių agentų vykdymui ir politikos valdymui. Kartu „LG AI Research“ atvėrė API prieigą prie „K-EXAONE-2.5“ modelio, kuris remiasi nauju „Nemotron-Personas-Korea“ duomenų rinkiniu, apimančiu 7 milijonus sintetinių asmenybių.
„Amazon SageMaker Inference“ pristatė NVIDIA „Multi-Instance GPU“ (MIG) palaikymą, leidžiantį padalyti vieną fizinį GPU į kelis nepriklausomus vienetus. Šis aparatinis padalijimas suteikia kiekvienai particijai skirtą skaičiavimo galią ir atmintį, užtikrinant nuspėjamą delsą ir griežtą izoliaciją tarp modelių, esančių tame pačiame akceleratoriuje.
„NVIDIA“ pristatė „Vera“ procesorių, sukurtą optimizuoti AI agentų, nuolat persijungiančių tarp GPU mąstymo ir CPU užduočių, darbą. Ši architektūra siekia išspręsti energijos suvartojimo ir našumo ribojimus, su kuriais susiduria duomenų centrai, naudojantys standartinę x86 infrastruktūrą.
NVIDIA pristatė keturis 16B parametrų patikros taškus savo „Cosmos 3 Nano“ modelių šeimoje, skirtus interaktyviam pasaulio modeliavimui. Šie modeliai leidžia kūrėjams generuoti sintetinius kelių jutiklių vairavimo duomenis, simuliuoti robotų judesius ir paversti simuliatoriaus valdiklius fotorealistiniais vaizdo įrašais.
NVIDIA pristatė penkias ko-projektavimo kryptis „Vera Rubin NVL72“ platformai, skirtas maksimaliai padidinti pralaidumą dirbant su agentų užduotimis. Derinant naujus duomenų formatus, tokius kaip NVFP4, ekspertinį paralelizavimą ir „Dynamo“ paskirstytojo aptarnavimo sluoksnį, sistema atmintį naudoja kaip vieningą resursą tarp GPU, pagrindinių CPU ir specializuotos saugyklos.
NVIDIA pristatė „AI Factory Operations Agent“ – sistemą, sukurtą „NemoClaw“ ir „OpenShell“ pagrindu, skirtą automatizuoti didelės apimties GPU klasterių priežiūrą ir trikčių diagnostiką. Naudojant specializuotus agentus ir „Model Context Protocol“ (MCP), inžinieriai gali atlikti problemų analizę tarp aparatūros, tinklo ir programinės įrangos sluoksnių per vieningą pokalbių sąsają.
NVIDIA išleido CUDA 13.5, kurioje „Vera Rubin“ GPU architektūra pasiekė bendrąjį prieinamumą (GA). Atnaujinimas suteikia svarbių patobulinimų daugiaprocesinio paslaugų (MPS) resursų planavimui, lokalumo sričių skaidymui ir gilesnei integracijai su SIMT bibliotekomis per „CUDA Tile“.
NVIDIA pristatė darbo eigą, leidžiančią paversti gamybos metu aptiktas agentų klaidas struktūrizuotais testais, naudojant NeMo Compass ir NeMo Eval Author. Šis procesas analizuoja veiklos žurnalus, kad nustatytų pasikartojančias problemas, generuoja tikslinius vertinimus ir patikrina agento patobulinimus.
NVIDIA išleido „NVIDIA Attribution“ – atvirojo kodo įrankį, skirtą žurnalams, metrikoms ir planuoklio būsenoms koreliuoti į struktūrizuotas paskirstytų DI mokymo darbų diagnostikas. Įrankis automatiškai išskiria pagrindinę gedimo priežastį iš šalutinių simptomų (pvz., NCCL klaidų), taip padėdamas infrastruktūros komandoms efektyviau valdyti didelio masto GPU sistemas.
NVIDIA Recovery yra nauja atviro kodo paslauga, sukurta palaikyti mokymų produktyvumą automatizuojant klaidų šalinimą GPU klasteriuose. Ji pakeičia rankinę priežiūrą sistemingu procesu, kuris aptinka klaidas, nustato jų priežastis ir inicijuoja perkrovimus arba atskirų mazgų izoliavimą.
NVIDIA pristatė „Cosmos“ – platformą, siūlančią pasaulio modelius ir kūrimo įrankius, skirtus fizinio pasaulio dirbtinio intelekto (Physical AI) taikymams, tokiems kaip robotika ir autonominiai automobiliai. Platforma apima modulinius mokymo receptus bei NIM mikrotarnybas, kurios pagreitina modelių veikimą ir leidžia generuoti sinchronizuotus vaizdo bei LiDAR duomenis.
NVIDIA pristatė „Workload Map“ – įrankį, skirtą suteikti bendrą būdą „Kubernetes“ planuokliams ir platformoms interpretuoti įvairius paskirstytus dirbtinio intelekto darbo krūvius. Naudojant deklaratyvius YAML apibrėžimus, nebereikia kurti specialių pritaikymo adapterių kiekvienai naujai sistemai, tokiai kaip „JobSet“, „Ray“ ar „KServe“.
„NVIDIA“ pristatė „AI Cluster Runtime“ (AICR), skirtą „Dynamo“ išvesties infrastruktūrai sujungti į patikrintus diegimo šablonus. Šis atnaujinimas supaprastina diegimą, fiksuodamas versijas ir pašalindamas privalomas išorines priklausomybes, pvz., „NATS“, bei pristatydamas naujus „KV-aware“ maršrutizavimo kelius „Kubernetes“ aplinkoje.
NVIDIA pristatė naują komandinės eilutės sąsają „TensorRT Edge-LLM“ vykdymo mechanizmui, leidžiančią kūrėjams greitai kurti ir testuoti dirbtinio intelekto modelius „DGX Spark 64GB“ darbo stotyse. Įrankių rinkinys palengvina modelių paleidimą vietoje ir palaiko „DSpark“ spekuliatyvųjį dekodavimą, skirtą padidinti generavimo spartą ribotų resursų aparatinėje įrangoje.
NVIDIA pristatė „NemoClaw“ – atvirą „blueprint“ sistemą, skirtą sujungti agentų „harness“ su optimizuotais „Nemotron“ modeliais ir saugiomis vykdymo aplinkomis. Tai leidžia kūrėjams diegti agentus, kurie yra valdomi griežtomis saugumo politikomis, išlaikant aukštą našumą savo infrastruktūroje.