„Amazon“ pristatė architektūrinį sprendimą, integruojantį „NVIDIA NeMo Switchyard“ biblioteką su „LiteLLM“, skirtą dinamiškai nukreipti kodo agentų užklausas tarp skirtingų „Bedrock“ modelių. Naudojant „stage“ arba „random“ maršrutizavimą, galima efektyviai paskirstyti srautą tarp galingų ir ekonomiškų modelių, optimizuojant našumą bei kaštus.
„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.
„llama.cpp“ projektas oficialiai pasiekė 1.0.0 versijos etapą praėjus trejiems su puse metų nuo įkūrimo. Šiame leidime pristatomas griežtas semantinis versijavimas, siekiant užtikrinti geresnį nuspėjamumą kūrėjams, naudojantiems „libllama“ ir „libggml“ C/C++ bibliotekas.
NVIDIA pristatė diegimo receptus keturiems svarbiems Korėjos atviro kodo modeliams, tokiems kaip A.X K2 ir „Solar Open 2“, naudojant „Dynamo“ sistemą. Šie receptai yra specialiai pritaikyti kelių mazgų NVIDIA B200 GPU klasteriams, kad būtų galima efektyviai vykdyti didelio masto išvadas (inference).
NVIDIA pristatė keturis 16B parametrų patikros taškus savo „Cosmos 3 Nano“ modelių šeimoje, skirtus interaktyviam pasaulio modeliavimui. Šie modeliai leidžia kūrėjams generuoti sintetinius kelių jutiklių vairavimo duomenis, simuliuoti robotų judesius ir paversti simuliatoriaus valdiklius fotorealistiniais vaizdo įrašais.
NVIDIA pristatė penkias ko-projektavimo kryptis „Vera Rubin NVL72“ platformai, skirtas maksimaliai padidinti pralaidumą dirbant su agentų užduotimis. Derinant naujus duomenų formatus, tokius kaip NVFP4, ekspertinį paralelizavimą ir „Dynamo“ paskirstytojo aptarnavimo sluoksnį, sistema atmintį naudoja kaip vieningą resursą tarp GPU, pagrindinių CPU ir specializuotos saugyklos.
NVIDIA išleido CUDA 13.5, kurioje „Vera Rubin“ GPU architektūra pasiekė bendrąjį prieinamumą (GA). Atnaujinimas suteikia svarbių patobulinimų daugiaprocesinio paslaugų (MPS) resursų planavimui, lokalumo sričių skaidymui ir gilesnei integracijai su SIMT bibliotekomis per „CUDA Tile“.
NVIDIA pristatė „Cosmos“ – platformą, siūlančią pasaulio modelius ir kūrimo įrankius, skirtus fizinio pasaulio dirbtinio intelekto (Physical AI) taikymams, tokiems kaip robotika ir autonominiai automobiliai. Platforma apima modulinius mokymo receptus bei NIM mikrotarnybas, kurios pagreitina modelių veikimą ir leidžia generuoti sinchronizuotus vaizdo bei LiDAR duomenis.
NVIDIA pristatė naują komandinės eilutės sąsają „TensorRT Edge-LLM“ vykdymo mechanizmui, leidžiančią kūrėjams greitai kurti ir testuoti dirbtinio intelekto modelius „DGX Spark 64GB“ darbo stotyse. Įrankių rinkinys palengvina modelių paleidimą vietoje ir palaiko „DSpark“ spekuliatyvųjį dekodavimą, skirtą padidinti generavimo spartą ribotų resursų aparatinėje įrangoje.
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
„NVIDIA“ išleido „Nemotron 3.5 Transcribe“ – atviro svorio, instrukcijomis valdomą modelį, skirtą kalbos vertimui į tekstą, pranešėjų diarizacijai ir vertimui. Modelyje naudojama hibridinė „Mamba-Transformer“ architektūra, užtikrinanti geriausią pramonės našumą su vos 4 milijardais aktyvių parametrų.
NVIDIA pristatė CUDA 13.4, įdiegdama skaidrų atminties ribojimą GPU dalijimuisi. Kartu su nauju atvirojo kodo „GPU Fractioning Operator“ ir „KAI Scheduler“ v0.18.0, jūsų įmonė gali tiesiogiai „Kubernetes“ Pod anotacijose nustatyti konkrečius atminties poreikius, maksimalias ribas ir skaičiavimo režimus.
NVIDIA išleido „Nemotron-Personas“ duomenų rinkinius Prancūzijai ir Belgijai, skirtus pagerinti LLM tikslumą regioninių procedūrų, demografijos ir kultūrinių niuansų atžvilgiu. Šis atnaujinimas suteikia pilną mokymo po pradinio treniravimo darbo eigą, įskaitant sintetinių duomenų generavimą, „LoRA“ derinimą per „NVIDIA NeMo“ ir vertinimą, padedantį pereiti nuo bendrųjų modelių prie konkrečiai sričiai skirtų agentų.
„NVIDIA“ pristatė trijų dalių optimizavimo strategiją, skirtą pagreitinti MoE modelių išvedimą, išbandytą su 124 mlrd. parametrų „Ling-3.0-flash“ modeliu. Naudojant specializuotus „Humming“ branduolius, FP8 tikslumą „LM head“ sluoksnyje ir kelių žetonų prognozavimą (MTP), pralaidumą galima padidinti 42,5 %, o vėlinimą sumažinti 24,5 %.
NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.
Meta paskelbė Muse Spark Open – atvirų svorių mišraus ekspertų (MoE) modelį, turintį apie 816 milijardų parametrų iš viso ir 42 milijardus aktyvių vienam tokenui. Jis priima tekstą, vaizdus, garsą ir video, o generuoja tekstą, naudodamas iki 1 milijono tokenų kontekstą. Meta pristato jį kaip kodavimui optimizuotą, agentinį modelį, sukurtą ant mažesnio Muse Glimmer architektūros pagrindo, vadindama jį pažangiausiu iki šiol išleistu JAV atvirų svorių modeliu.
„Liquid AI“ paskelbė LFM2.5-24B-A2B – mišrių ekspertų (MoE) modelį su 24B bendrų parametrų, bet tik 2B aktyvių vienam tokenui, skirtą samprotaujantiems agentams vykdyti lokalioje įrangoje. Naujoje versijoje konteksto langas išplėstas iki 131K tokenų, žodynas padvigubintas, o pradinis mokymas atliktas naudojant maždaug dvigubai daugiau duomenų nei ankstesnėje versijoje. Agentinio ir įrankių naudojimo testų rezultatais modelis prilygsta arba lenkia modelius, turinčius apie 50 % daugiau parametrų, kartu pasiekdamas greitą veikimą tiek vartotojiškoje, tiek duomenų centro įrangoje.