NVIDIA pristatė naują komandinės eilutės sąsają „TensorRT Edge-LLM“ vykdymo mechanizmui, leidžiančią kūrėjams greitai kurti ir testuoti dirbtinio intelekto modelius „DGX Spark 64GB“ darbo stotyse. Įrankių rinkinys palengvina modelių paleidimą vietoje ir palaiko „DSpark“ spekuliatyvųjį dekodavimą, skirtą padidinti generavimo spartą ribotų resursų aparatinėje įrangoje.
NVIDIA pristatė „NemoClaw“ – atvirą „blueprint“ sistemą, skirtą sujungti agentų „harness“ su optimizuotais „Nemotron“ modeliais ir saugiomis vykdymo aplinkomis. Tai leidžia kūrėjams diegti agentus, kurie yra valdomi griežtomis saugumo politikomis, išlaikant aukštą našumą savo infrastruktūroje.
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
AWS pristatė paruoštus „Ray Train“ gilaus mokymosi konteinerius (DLC), kuriuose viename patikrintame atvaizde sujungtos „PyTorch“, „CUDA“, „NCCL“ ir „EFA“ tinklo bibliotekos. Tai leidžia jūsų įmonei diegti paskirstytojo mokymo grupes „Amazon EKS“ platformoje, nereikalaujant prižiūrėti pritaikytų atvaizdų kūrimo procesų ar spręsti sudėtingų tvarkyklių suderinamumo problemų.
„NVIDIA“ išleido „Nemotron 3.5 Transcribe“ – atviro svorio, instrukcijomis valdomą modelį, skirtą kalbos vertimui į tekstą, pranešėjų diarizacijai ir vertimui. Modelyje naudojama hibridinė „Mamba-Transformer“ architektūra, užtikrinanti geriausią pramonės našumą su vos 4 milijardais aktyvių parametrų.
NVIDIA pristatė CUDA 13.4, įdiegdama skaidrų atminties ribojimą GPU dalijimuisi. Kartu su nauju atvirojo kodo „GPU Fractioning Operator“ ir „KAI Scheduler“ v0.18.0, jūsų įmonė gali tiesiogiai „Kubernetes“ Pod anotacijose nustatyti konkrečius atminties poreikius, maksimalias ribas ir skaičiavimo režimus.
NVIDIA išleido „Nemotron-Personas“ duomenų rinkinius Prancūzijai ir Belgijai, skirtus pagerinti LLM tikslumą regioninių procedūrų, demografijos ir kultūrinių niuansų atžvilgiu. Šis atnaujinimas suteikia pilną mokymo po pradinio treniravimo darbo eigą, įskaitant sintetinių duomenų generavimą, „LoRA“ derinimą per „NVIDIA NeMo“ ir vertinimą, padedantį pereiti nuo bendrųjų modelių prie konkrečiai sričiai skirtų agentų.
„NVIDIA“ pristatė trijų dalių optimizavimo strategiją, skirtą pagreitinti MoE modelių išvedimą, išbandytą su 124 mlrd. parametrų „Ling-3.0-flash“ modeliu. Naudojant specializuotus „Humming“ branduolius, FP8 tikslumą „LM head“ sluoksnyje ir kelių žetonų prognozavimą (MTP), pralaidumą galima padidinti 42,5 %, o vėlinimą sumažinti 24,5 %.
„NVIDIA“ išplėtė „Mission Control“ platformą, įtraukdama autonominio atkūrimo funkciją „Kubernetes“ aplinkoms, valdomoms per „Run:ai“. Sistema dabar atskiria užduočių atkūrimą nuo aparatinės įrangos priežiūros, leisdama tęsti mokymo procesus sveikuose mazguose, kol diagnozuojama sugedusi įranga.
Cohere išleido viešą beta versiją „Confidential Computing on Model Vault“, veikiančią su NVIDIA H100 GPU per Microsoft Azure. Sistema šifruoja duomenis naudojimo metu tiek CPU, tiek GPU lygmenyje, šifruoja pačią užklausą naudodama Oblivious HTTP (OHTTP) ir taiko nuotolinį atestavimą, kad klientas galėtų patikrinti aplinką prieš siunčiant jautrius duomenis. Jei patikra nepavyksta, klientas atsisako siųsti apsaugotą užklausą. Cohere planuoja atverti konfidencialaus apdorojimo kodą ir išplėsti palaikymą iki NVIDIA Blackwell (B200) GPU siekiant bendros prieinamybės.
NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.
Google Cloud paskelbė referencinę architektūrą, skirtą AI agentams, koordinuojantiems ilgai trunkančias, GPU reikalaujančias mokslines užduotis, tokias kaip baltymų lankstymas ir junginių atranka, kurios sugriauna įprastą vieno LLM agento modelį dėl laiko limitų ir konteksto perpildymo. Architektūra atskiria kognityvinį orkestratorių (Gemini su Agent Runtime) nuo GPU vykdymo sluoksnio (NVIDIA NIM, pvz., ESMFold ir GenMol, veikiantys GKE) ir viską apgaubia įmonės valdymo lygmeniu su agento identitetu, vartais, registru ir Model Armor apsauga. Taip pat pateikiamos geriausios praktikos: didelius duomenis perduoti nuorodomis, o ne tiesiogiai, transliuoti tarpinius pažangos atnaujinimus ir negrįžtamus veiksmus leisti tik gavus žmogaus patvirtinimą.
Meta paskelbė Muse Spark Open – atvirų svorių mišraus ekspertų (MoE) modelį, turintį apie 816 milijardų parametrų iš viso ir 42 milijardus aktyvių vienam tokenui. Jis priima tekstą, vaizdus, garsą ir video, o generuoja tekstą, naudodamas iki 1 milijono tokenų kontekstą. Meta pristato jį kaip kodavimui optimizuotą, agentinį modelį, sukurtą ant mažesnio Muse Glimmer architektūros pagrindo, vadindama jį pažangiausiu iki šiol išleistu JAV atvirų svorių modeliu.
NVIDIA paskelbė atvejo analizę, kaip Siemens EDA panaudojo atvirojo kodo NeMo Gym vertinimo biblioteką, kad patobulintų lustų charakterizavimui skirtą agentinį įrankį. Vietoj atskirų įrankių iškvietimų tikrinimo, komanda vertino pilnus galutinius failus specializuotu verifikatoriumi, o klaidų pobūdį panaudojo agentо įgūdžių instrukcijoms ir MCP įrankių aprašymams perrašyti. Po kelių tokio ciklo etapų bendras tikslumo balas pakilo nuo maždaug 55 % iki 95 %, o agentui prireikė kur kas mažiau žingsnių ir rezultato apimties. Eksperimentuose naudota apie 25 vertinimo bandymus su Claude Opus 4.8 kaip agento modeliu, veikiančiu Claude Code aplinkoje.
„Liquid AI“ paskelbė LFM2.5-24B-A2B – mišrių ekspertų (MoE) modelį su 24B bendrų parametrų, bet tik 2B aktyvių vienam tokenui, skirtą samprotaujantiems agentams vykdyti lokalioje įrangoje. Naujoje versijoje konteksto langas išplėstas iki 131K tokenų, žodynas padvigubintas, o pradinis mokymas atliktas naudojant maždaug dvigubai daugiau duomenų nei ankstesnėje versijoje. Agentinio ir įrankių naudojimo testų rezultatais modelis prilygsta arba lenkia modelius, turinčius apie 50 % daugiau parametrų, kartu pasiekdamas greitą veikimą tiek vartotojiškoje, tiek duomenų centro įrangoje.
NVIDIA paskelbė, kad visa „Run:ai“ platforma dabar yra atvirojo kodo ir tampa NVIDIA DSX AI Factory Platform pagrindu AI darbo krūvių bei GPU orkestravimui Kubernetes aplinkoje. Leidime pateikiami keturi moduliniai komponentai — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management ir Workload Map, kuriuos galima naudoti kartu arba atskirai. Aštuoni ekosistemos partneriai, tarp jų Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud ir vCluster, integruoja platformą į savo paslaugas.
NVIDIA pristatė detalią darbo eigą, kaip pritaikyti daugiakalbį srautinį ASR modelį Nemotron 3.5 Saudo Arabijos dialektams (Najdi ir Hijazi). Naudojant minimalų duomenų kuravimą, „replay mixing“ su FLEURS duomenimis, trukme pagrįstą grupavimą ir dalinį enkoderio atšaldymą, žodžių klaidų dažnis (WER) tiksliniuose dialektuose sumažintas nuo 55,05% iki 29,96%, kartu šiek tiek pagerinant anglų ir kitų arabų dialektų atpažinimą. Straipsnyje taip pat aptariami dekodavimo pakeitimai ir kalbėtojų diarizacijos plėtiniai keliems kalbėtojams.