„Amazon“ pristatė architektūrinį sprendimą, integruojantį „NVIDIA NeMo Switchyard“ biblioteką su „LiteLLM“, skirtą dinamiškai nukreipti kodo agentų užklausas tarp skirtingų „Bedrock“ modelių. Naudojant „stage“ arba „random“ maršrutizavimą, galima efektyviai paskirstyti srautą tarp galingų ir ekonomiškų modelių, optimizuojant našumą bei kaštus.
NVIDIA išleido modulį cuda.bindings.cudla, leidžiantį „Python“ kalba valdyti „Deep Learning Accelerator“ (DLA) „Jetson AGX Orin“ platformoje. Kūrėjai dabar gali suderinti GPU išankstinį apdorojimą ir DLA išvadas viename „CUDA stream“ sraute.
„NVIDIA“ išleido atvirojo kodo įrankio „SOMA Retargeter“ 0.2 versiją, skirtą žmogaus judesių duomenims pritaikyti humanoidiniams robotams. Sistema apdoroja įvairius judesių šaltinius, pvz., judesių fiksavimo duomenis ar vaizdo rekonstrukciją, ir naudoja atvirkštinę kinematiką jiems suderinti su roboto anatomija.
„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.
„llama.cpp“ projektas oficialiai pasiekė 1.0.0 versijos etapą praėjus trejiems su puse metų nuo įkūrimo. Šiame leidime pristatomas griežtas semantinis versijavimas, siekiant užtikrinti geresnį nuspėjamumą kūrėjams, naudojantiems „libllama“ ir „libggml“ C/C++ bibliotekas.
NVIDIA į savo „AI Cluster Runtime“ (AICR) įrankį integravo atvirojo kodo „k8s-aibom“ projektą. Tai leidžia platformų komandoms automatiškai generuoti ir audituoti dirbtinio intelekto komponentų sąrašus (AIBOM) Kubernetes aplinkoje, identifikuojant modelius, išvados (inference) aplinkas bei priklausomybes.
NVIDIA pristatė „NVIDIA Kubernetes Engine“ (NVKE) ir „NVIDIA Kubernetes Recipes“ (NVKR) kaip atvirojo kodo projektus viešajai peržiūrai. Šie įrankiai skirti padėti kurti, diegti ir valdyti „Kubernetes“ klasterius, specialiai optimizuotus GPU pagreitinamiems darbams.
„NVIDIA“ pristatė atviro kodo įrankį „NVIDIA Snapshot“, skirtą GPU darbo krūviams „Kubernetes“ aplinkoje. Įrašydama pilnai sukonfigūruotus modelius ir jų būsenas, sistema leidžia išvadų (inference) replikoms atsigauti per sekundes, o ne minutes, taip pašalinant pasikartojančius inicijavimo etapus.
NVIDIA prisidėjo „Agent Substrate“ projektu prie „CNCF Sandbox“, siekdama išspręsti neefektyvų AI agentų veikimą „Kubernetes“ aplinkoje. Platforma leidžia sujungti daugybę agentų sesijų į nedidelį aktyvių „worker“ pod'ų telkinį, išsaugant atminties ir failų sistemos būsenas neveiklos metu.
NVIDIA paskelbė apie naujas investicijas į Pietų Korėjos dirbtinio intelekto (DI) startuolius, besispecializuojančius sujungimų technologijose, DI agentų pagrindiniuose modeliuose bei robotikoje. Ši iniciatyva, vykdoma kartu su MSIT, siekia paspartinti inovacijas visoje DI technologijų grandinėje – nuo techninės infrastruktūros iki fizinio DI taikymo.
NVIDIA pristatė diegimo receptus keturiems svarbiems Korėjos atviro kodo modeliams, tokiems kaip A.X K2 ir „Solar Open 2“, naudojant „Dynamo“ sistemą. Šie receptai yra specialiai pritaikyti kelių mazgų NVIDIA B200 GPU klasteriams, kad būtų galima efektyviai vykdyti didelio masto išvadas (inference).
NVIDIA pristatė „Open Agent Safety Platform“ su „OpenShell“ aplinka, skirta saugiam autonominių agentų vykdymui ir politikos valdymui. Kartu „LG AI Research“ atvėrė API prieigą prie „K-EXAONE-2.5“ modelio, kuris remiasi nauju „Nemotron-Personas-Korea“ duomenų rinkiniu, apimančiu 7 milijonus sintetinių asmenybių.