NVIDIA pristatė „Workload Map“ – įrankį, skirtą suteikti bendrą būdą „Kubernetes“ planuokliams ir platformoms interpretuoti įvairius paskirstytus dirbtinio intelekto darbo krūvius. Naudojant deklaratyvius YAML apibrėžimus, nebereikia kurti specialių pritaikymo adapterių kiekvienai naujai sistemai, tokiai kaip „JobSet“, „Ray“ ar „KServe“.
„NVIDIA“ pristatė „AI Cluster Runtime“ (AICR), skirtą „Dynamo“ išvesties infrastruktūrai sujungti į patikrintus diegimo šablonus. Šis atnaujinimas supaprastina diegimą, fiksuodamas versijas ir pašalindamas privalomas išorines priklausomybes, pvz., „NATS“, bei pristatydamas naujus „KV-aware“ maršrutizavimo kelius „Kubernetes“ aplinkoje.
NVIDIA pristatė naują komandinės eilutės sąsają „TensorRT Edge-LLM“ vykdymo mechanizmui, leidžiančią kūrėjams greitai kurti ir testuoti dirbtinio intelekto modelius „DGX Spark 64GB“ darbo stotyse. Įrankių rinkinys palengvina modelių paleidimą vietoje ir palaiko „DSpark“ spekuliatyvųjį dekodavimą, skirtą padidinti generavimo spartą ribotų resursų aparatinėje įrangoje.
NVIDIA pristatė „NemoClaw“ – atvirą „blueprint“ sistemą, skirtą sujungti agentų „harness“ su optimizuotais „Nemotron“ modeliais ir saugiomis vykdymo aplinkomis. Tai leidžia kūrėjams diegti agentus, kurie yra valdomi griežtomis saugumo politikomis, išlaikant aukštą našumą savo infrastruktūroje.
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
AWS pristatė paruoštus „Ray Train“ gilaus mokymosi konteinerius (DLC), kuriuose viename patikrintame atvaizde sujungtos „PyTorch“, „CUDA“, „NCCL“ ir „EFA“ tinklo bibliotekos. Tai leidžia jūsų įmonei diegti paskirstytojo mokymo grupes „Amazon EKS“ platformoje, nereikalaujant prižiūrėti pritaikytų atvaizdų kūrimo procesų ar spręsti sudėtingų tvarkyklių suderinamumo problemų.
„NVIDIA“ išleido „Nemotron 3.5 Transcribe“ – atviro svorio, instrukcijomis valdomą modelį, skirtą kalbos vertimui į tekstą, pranešėjų diarizacijai ir vertimui. Modelyje naudojama hibridinė „Mamba-Transformer“ architektūra, užtikrinanti geriausią pramonės našumą su vos 4 milijardais aktyvių parametrų.
NVIDIA pristatė CUDA 13.4, įdiegdama skaidrų atminties ribojimą GPU dalijimuisi. Kartu su nauju atvirojo kodo „GPU Fractioning Operator“ ir „KAI Scheduler“ v0.18.0, jūsų įmonė gali tiesiogiai „Kubernetes“ Pod anotacijose nustatyti konkrečius atminties poreikius, maksimalias ribas ir skaičiavimo režimus.
NVIDIA išleido „Nemotron-Personas“ duomenų rinkinius Prancūzijai ir Belgijai, skirtus pagerinti LLM tikslumą regioninių procedūrų, demografijos ir kultūrinių niuansų atžvilgiu. Šis atnaujinimas suteikia pilną mokymo po pradinio treniravimo darbo eigą, įskaitant sintetinių duomenų generavimą, „LoRA“ derinimą per „NVIDIA NeMo“ ir vertinimą, padedantį pereiti nuo bendrųjų modelių prie konkrečiai sričiai skirtų agentų.
„NVIDIA“ pristatė trijų dalių optimizavimo strategiją, skirtą pagreitinti MoE modelių išvedimą, išbandytą su 124 mlrd. parametrų „Ling-3.0-flash“ modeliu. Naudojant specializuotus „Humming“ branduolius, FP8 tikslumą „LM head“ sluoksnyje ir kelių žetonų prognozavimą (MTP), pralaidumą galima padidinti 42,5 %, o vėlinimą sumažinti 24,5 %.
„NVIDIA“ išplėtė „Mission Control“ platformą, įtraukdama autonominio atkūrimo funkciją „Kubernetes“ aplinkoms, valdomoms per „Run:ai“. Sistema dabar atskiria užduočių atkūrimą nuo aparatinės įrangos priežiūros, leisdama tęsti mokymo procesus sveikuose mazguose, kol diagnozuojama sugedusi įranga.
Cohere išleido viešą beta versiją „Confidential Computing on Model Vault“, veikiančią su NVIDIA H100 GPU per Microsoft Azure. Sistema šifruoja duomenis naudojimo metu tiek CPU, tiek GPU lygmenyje, šifruoja pačią užklausą naudodama Oblivious HTTP (OHTTP) ir taiko nuotolinį atestavimą, kad klientas galėtų patikrinti aplinką prieš siunčiant jautrius duomenis. Jei patikra nepavyksta, klientas atsisako siųsti apsaugotą užklausą. Cohere planuoja atverti konfidencialaus apdorojimo kodą ir išplėsti palaikymą iki NVIDIA Blackwell (B200) GPU siekiant bendros prieinamybės.
NVIDIA pristatė Minerva – operacijų platformą, kuri sujungia telemetriją iš GPU, tinklo įrangos, saugyklų ir vykdomų užduočių, kad operatoriai galėtų pastebėti problemas masiniuose GPU klasteriuose anksčiau, nei jos sukelia prastovas. Mašininio mokymosi modeliai sudaro gyvą techninės įrangos ir darbo krūvių žemėlapį, pažymi neįprastą elgseną ir sugrupuoja susijusius perspėjimus į vieną incidentą su tikėtina priežastimi, užuot užtvindę komandas atskirais pranešimais. Įmontuotas asistentas leidžia darbuotojams užduoti klausimus apie klasterio būklę natūralia kalba, o sistema gali jungtis prie automatizavimo įrankių, kad vykdytų taisymus. IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI ir Tesla jau ruošiasi ją naudoti, o Dell, Lenovo ir Supermicro siūlys ją kaip dalį savo infrastruktūros sprendimų.
„NVIDIA“ išplėtė „Cosmos“ platformą, skirtą „pasaulio modeliams“ fizinio AI ir robotikos sritims, pridėdama naujus duomenų kūrimo šablonus, modelių pritaikymo galimybes ir greitesnį diegimą. Atnaujinime – penki „Cosmos Data Factory“ šablonai sintetiniams ir papildytiems mokymo duomenims kurti, išplėstas „Cosmos Framework“ palaikymas atvirų modelių, tokių kaip GR00T, Alpamayo, QWEN ir Pi0.5, pritaikymui bei atnaujintos „Cosmos 3 NIM“ mikropaslaugos. Tokios kompanijos kaip „Porsche“, „ANYbotics“, „Ultralytics“ ir ADNOC jau naudoja šiuos įrankius autonominių transporto priemonių duomenims generuoti, robotų anomalijoms aptikti, defektų kontrolei ir saugumo stebėjimui.
NVIDIA BioNeMo komanda kartu su Vašingtono universiteto Baltymų dizaino institutu pristatė RFD4-Proteina – modelį, kuris vienu metu sugeneruoja tiek baltymo seką, tiek pilną atominę struktūrą, atsisakant atskiro atvirkštinio klostymo (inverse-folding) žingsnio. Dirbdamas su liekanos lygio (residue-level) reprezentacija ir supaprastintu difuzijos procesu, modelis atlieka tik apie 60 žingsnių vietoj maždaug 400, todėl generavimas tampa gerokai greitesnis, o atminties sąnaudos – mažesnės nei ankstesnio modelio RFD3, generuojant 200 liekanų baltymą. Generavimo metu modelis taip pat gali vykdyti apdovanojimu grįstą (reward-guided) paiešką, kuri vertina ir atrenka geriausius dalinius sprendimus naudodama GPU pagreitintus įrankius, tokius kaip OpenFold3 ir TMol. Modelis pateikiamas tiek kaip atvirojo kodo versija GitHub, tiek kaip NIM mikroservisas su HTTP sąsaja, o specialūs įrankiai leidžia automatizuotiems agentams susieti generavimo, paieškos ir vertinimo etapus.
„Google Cloud“ ir NVIDIA paskelbė apie A5X instancijų, sukurtų ant NVIDIA „Vera Rubin“ NVL72 GPU, ConnectX-9 SuperNIC ir „Google“ Virgo tinklo, prieinamumą. Sistema skirta masinio mastelio agentiniam išvedimui ir sustiprinto mokymosi (reinforcement learning) darbo krūviams. „Google Cloud“ planuoja išplėsti „Vera Rubin“ infrastruktūrą iki 960 000 Rubin GPU keliose vietose, bendras prieinamumas numatytas kitą mėnesį, vėliau – Europoje. Pirmasis klientas – Londone įsikūrusi „Ineffable Intelligence“, kurią įkūrė AlphaGo kūrėjas David Silver, naudoja platformą „superlearner“ sistemoms kurti.
NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.
NVIDIA išleido OpenShell — atvirojo kodo vykdymo aplinką, kuri agentų darbo krūvius traktuoja kaip nepatikimus ir suteikia prieigą prie failų, įrankių bei sistemų tik tada, kai jos reikia. Kartu pristatomas naujas NVIDIA Vera procesorius, o papildomai — BlueField-4 DPU su NVIDIA Sentry techninei stebėsenai. NVIDIA teigia, kad kartu šie elementai sudaro pilną referencinę architektūrą saugiam autonominių agentų veikimui duomenų centrų mastu.
NVIDIA pristatė „Sentry“ – naują saugumo sistemą, veikiančią už AI agento pasiekiamumo ribų: ji vykdo politikas ir stebi elgseną iš atskiro aparatinio pasitikėjimo domeno, veikiančio „BlueField-4“ DPU. Idėja paprasta: net jei agentas pažeidžiamas ar nukrypsta nuo numatyto elgesio naudodamas įrankius ir prisijungimo duomenis, „Sentry“ tęsia stebėjimą ir gali jį sustabdyti, nes nepriklauso nuo pagrindinės sistemos (host OS), kurioje agentas veikia. Du komponentai atlieka pagrindinį darbą – „DOCA Tower“, tarpinis serveris, tikrinantis ir autorizuojantis kiekvieną agento tinklo užklausą, ir „DOCA Argus“, skaitantis realaus laiko atmintį, kad suprastų, kas iš tikrųjų vyksta. Pastebėjus ką nors įtartino, sistema gali izoliuoti agentą per milisekundes, nereikalaujant jokio agento ar pagrindinės sistemos bendradarbiavimo.
NVIDIA išleido Cosmos3-H-Dreams – pasaulio modelį (world foundation model), generuojantį interaktyvias, realaus laiko chirurgines scenas pagal roboto kinematiką iš tikrų klinikinių cholecistektomijos procedūrų, įrašytų naudojant CMR Surgical Versius platformą. Modelis sukurtas ant 16 milijardų parametrų Cosmos3-H-Embodied-Nano pagrindo ir pagreitintas naudojant NVIDIA FlashDreams srautinio išvedimo biblioteką, veikia viename RTX PRO 6000 GPU. Sistema mokosi vizualinės chirurginės dinamikos tiesiai iš vaizdo ir kinematikos duomenų, o ne iš tiesioginio fizikos modeliavimo, ir siūlo keturių bei dviejų žingsnių distiliuotus kontrolinius taškus, leidžiančius rinktis tarp kokybės ir greičio.
„Microsoft“ ir NVIDIA išleido bendrą baltąją knygą „Risk Management for Open-Weight Models in Enterprise“ — pirmąją iš planuojamos serijos, siūlančią įmonėms bendrą rizikos taksonomiją ir metodiką atvirų svorių AI modeliams vertinti. Dokumente teigiama, kad ar modelis yra atvirų, ar uždarų svorių, nėra pagrindinis rizikos veiksnys — svarbiausia naudojimo paskirtis, diegimo architektūra ir aplinkiniai apsaugos mechanizmai. Rizikos suskirstytos į penkias kategorijas (kibernetinis saugumas, duomenų apsauga, turinys, žmogaus-AI sąveika, šališkumas) ir susietos su vertinimais pagal ISO standartus bei NIST AI rizikos valdymo sistemą.
Google Cloud paskelbė referencinę architektūrą, skirtą AI agentams, koordinuojantiems ilgai trunkančias, GPU reikalaujančias mokslines užduotis, tokias kaip baltymų lankstymas ir junginių atranka, kurios sugriauna įprastą vieno LLM agento modelį dėl laiko limitų ir konteksto perpildymo. Architektūra atskiria kognityvinį orkestratorių (Gemini su Agent Runtime) nuo GPU vykdymo sluoksnio (NVIDIA NIM, pvz., ESMFold ir GenMol, veikiantys GKE) ir viską apgaubia įmonės valdymo lygmeniu su agento identitetu, vartais, registru ir Model Armor apsauga. Taip pat pateikiamos geriausios praktikos: didelius duomenis perduoti nuorodomis, o ne tiesiogiai, transliuoti tarpinius pažangos atnaujinimus ir negrįžtamus veiksmus leisti tik gavus žmogaus patvirtinimą.
NVIDIA kartu su IIT Madras AI4Bharat laboratorija išleidžia Nemotron-pretraining-Indic-v1 – apie 2,8 trilijono žetonų sintetinį išankstinio apmokymo duomenų rinkinį, apimantį 22 Indijos kalbas, kartu su atviru GPU pagreitintu konvejeriu, naudotu jam sukurti. Duomenų rinkinyje yra originalios rašybos duomenys visoms 22 kalboms ir romanizuoti tekstai dvylikai kalbų, sukurti verčiant atrinktą anglišką turinį (žiniatinklio tekstus, matematiką, kodą, klausimus-atsakymus) naudojant NeMo Data Designer ir tikrinant pagal MQM principu pagrįstą vertinimo sistemą. NVIDIA jau panaudojo 10 mlrd. žetonų Indijos kalbų poaibį tolesniam Nemotron 3.5 Super VL apmokymui, kuris parodė pastebimą pagerėjimą Indijos kalbų testuose.
Meta paskelbė Muse Spark Open – atvirų svorių mišraus ekspertų (MoE) modelį, turintį apie 816 milijardų parametrų iš viso ir 42 milijardus aktyvių vienam tokenui. Jis priima tekstą, vaizdus, garsą ir video, o generuoja tekstą, naudodamas iki 1 milijono tokenų kontekstą. Meta pristato jį kaip kodavimui optimizuotą, agentinį modelį, sukurtą ant mažesnio Muse Glimmer architektūros pagrindo, vadindama jį pažangiausiu iki šiol išleistu JAV atvirų svorių modeliu.