„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.
„llama.cpp“ projektas oficialiai pasiekė 1.0.0 versijos etapą praėjus trejiems su puse metų nuo įkūrimo. Šiame leidime pristatomas griežtas semantinis versijavimas, siekiant užtikrinti geresnį nuspėjamumą kūrėjams, naudojantiems „libllama“ ir „libggml“ C/C++ bibliotekas.
NVIDIA į savo „AI Cluster Runtime“ (AICR) įrankį integravo atvirojo kodo „k8s-aibom“ projektą. Tai leidžia platformų komandoms automatiškai generuoti ir audituoti dirbtinio intelekto komponentų sąrašus (AIBOM) Kubernetes aplinkoje, identifikuojant modelius, išvados (inference) aplinkas bei priklausomybes.
NVIDIA pristatė „NVIDIA Kubernetes Engine“ (NVKE) ir „NVIDIA Kubernetes Recipes“ (NVKR) kaip atvirojo kodo projektus viešajai peržiūrai. Šie įrankiai skirti padėti kurti, diegti ir valdyti „Kubernetes“ klasterius, specialiai optimizuotus GPU pagreitinamiems darbams.
„NVIDIA“ pristatė atviro kodo įrankį „NVIDIA Snapshot“, skirtą GPU darbo krūviams „Kubernetes“ aplinkoje. Įrašydama pilnai sukonfigūruotus modelius ir jų būsenas, sistema leidžia išvadų (inference) replikoms atsigauti per sekundes, o ne minutes, taip pašalinant pasikartojančius inicijavimo etapus.
NVIDIA prisidėjo „Agent Substrate“ projektu prie „CNCF Sandbox“, siekdama išspręsti neefektyvų AI agentų veikimą „Kubernetes“ aplinkoje. Platforma leidžia sujungti daugybę agentų sesijų į nedidelį aktyvių „worker“ pod'ų telkinį, išsaugant atminties ir failų sistemos būsenas neveiklos metu.
NVIDIA pristatė diegimo receptus keturiems svarbiems Korėjos atviro kodo modeliams, tokiems kaip A.X K2 ir „Solar Open 2“, naudojant „Dynamo“ sistemą. Šie receptai yra specialiai pritaikyti kelių mazgų NVIDIA B200 GPU klasteriams, kad būtų galima efektyviai vykdyti didelio masto išvadas (inference).
NVIDIA pristatė „Open Agent Safety Platform“ su „OpenShell“ aplinka, skirta saugiam autonominių agentų vykdymui ir politikos valdymui. Kartu „LG AI Research“ atvėrė API prieigą prie „K-EXAONE-2.5“ modelio, kuris remiasi nauju „Nemotron-Personas-Korea“ duomenų rinkiniu, apimančiu 7 milijonus sintetinių asmenybių.