Naujausi tyrimai rodo, kad daugelis didžiųjų kalbos modelių (LLM) „attention“ galvų yra perteklinės ir tiesiogiai prisideda prie pažodinio mokymo duomenų atkartojimo. Selektyviai išjungus šias galvas inferencijos metu, tyrėjai pasiekė 91,5 % atkartojimo sumažėjimą ir tuo pačiu pagerino modelio našumą standartiniuose testuose.
„NVIDIA“ pristatė „AI Cluster Runtime“ (AICR), skirtą „Dynamo“ išvesties infrastruktūrai sujungti į patikrintus diegimo šablonus. Šis atnaujinimas supaprastina diegimą, fiksuodamas versijas ir pašalindamas privalomas išorines priklausomybes, pvz., „NATS“, bei pristatydamas naujus „KV-aware“ maršrutizavimo kelius „Kubernetes“ aplinkoje.
NVIDIA pristatė naują komandinės eilutės sąsają „TensorRT Edge-LLM“ vykdymo mechanizmui, leidžiančią kūrėjams greitai kurti ir testuoti dirbtinio intelekto modelius „DGX Spark 64GB“ darbo stotyse. Įrankių rinkinys palengvina modelių paleidimą vietoje ir palaiko „DSpark“ spekuliatyvųjį dekodavimą, skirtą padidinti generavimo spartą ribotų resursų aparatinėje įrangoje.
NVIDIA pristatė „NemoClaw“ – atvirą „blueprint“ sistemą, skirtą sujungti agentų „harness“ su optimizuotais „Nemotron“ modeliais ir saugiomis vykdymo aplinkomis. Tai leidžia kūrėjams diegti agentus, kurie yra valdomi griežtomis saugumo politikomis, išlaikant aukštą našumą savo infrastruktūroje.
Pristatytas „Artifact Distillation“ metodas, leidžiantis galingiems modeliams eksportuoti savo sprendimų priėmimo procesus į išorinę duomenų saugyklą. Mažesni modeliai, naudodamiesi šia informacija vykdymo metu, pasiekia geresnių rezultatų be būtinybės atlikti brangų modelio tobulinimą (fine-tuning).
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
„Cisco Talos“ aptiko „NIK C2“ – sudėtingą „Windows“ operacinei sistemai skirtą kenkėjišką karkasą, parašytą „Go“ kalba, kuris tiesiogiai integruoja „OpenAI API“ užklausas. Šis įrankis leidžia užpuolikams vagoti prisijungimo duomenis, stebėti klavišų paspaudimus ir atlikti šoninį judėjimą tinkle, kartu realiuoju laiku analizuojant pavogtus duomenis pasitelkiant dirbtinį intelektą. Kenkėjiška programa bando pasinaudoti lokaliai aukos kompiuteryje sukonfigūruotais „OpenAI“ raktais, kad apmokėtų dirbtinio intelekto sąnaudas.
AWS pristatė paruoštus „Ray Train“ gilaus mokymosi konteinerius (DLC), kuriuose viename patikrintame atvaizde sujungtos „PyTorch“, „CUDA“, „NCCL“ ir „EFA“ tinklo bibliotekos. Tai leidžia jūsų įmonei diegti paskirstytojo mokymo grupes „Amazon EKS“ platformoje, nereikalaujant prižiūrėti pritaikytų atvaizdų kūrimo procesų ar spręsti sudėtingų tvarkyklių suderinamumo problemų.
„Xiaomi“ pristatė „OmniBrain-0“ – kompaktišką modelį, sukurtą vieningam robotų valdymui. Jis naudoja progresyvaus mokymo sistemą ir duomenų ratą, vadinamą „Rubric-Guided Recursive Self-Improvement“, kad apjungtų ekspertų žinias į vieną efektyvų sprendimų priėmimo agentą.
NVIDIA pristatė CUDA 13.4, įdiegdama skaidrų atminties ribojimą GPU dalijimuisi. Kartu su nauju atvirojo kodo „GPU Fractioning Operator“ ir „KAI Scheduler“ v0.18.0, jūsų įmonė gali tiesiogiai „Kubernetes“ Pod anotacijose nustatyti konkrečius atminties poreikius, maksimalias ribas ir skaičiavimo režimus.
„NVIDIA“ pristatė trijų dalių optimizavimo strategiją, skirtą pagreitinti MoE modelių išvedimą, išbandytą su 124 mlrd. parametrų „Ling-3.0-flash“ modeliu. Naudojant specializuotus „Humming“ branduolius, FP8 tikslumą „LM head“ sluoksnyje ir kelių žetonų prognozavimą (MTP), pralaidumą galima padidinti 42,5 %, o vėlinimą sumažinti 24,5 %.
„Google“ atnaujino savo A2UI generatyvinio UI protokolą, įtraukdama keičiamus išvadų (inference) formatus, taip spręsdama vėlavimo ir patikimumo problemas, susijusias su ankstesniu „Direct JSON“ metodu. Naujasis „A2UI Express“ formatas sumažina tokenų sunaudojimą iki 3 kartų ir delsą iki 3 kartų, naudodamas glaustą „Python“ stiliaus sintaksę.
Tyrėjai sukūrė „TraceQuery“ – retų (sparse) dekodavimo karkasą, mažinantį difuzinių didžiųjų kalbos modelių (dLLM) skaičiavimo kaštus. Analizuojant triukšmo šalinimo trajektorijas, metodas selektyviai perskaičiuoja tik būtinas žetonų (token) reprezentacijas, užuot atlikęs perteklines operacijas, taip išlaikant aukštą tikslumą su mažesniais skaičiavimo resursais.
Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.
„Cloudflare“ nustatė SGLang išvedimo variklio saugumo klaidą, dėl kurios GLM-5.3 modelis atskleidė duomenis tarp skirtingų vartotojų užklausų. Užklausos, viršijusios sukonfigūruotą KV talpyklos dydį, buvo klaidingai apdorotos, todėl dekodavimo mazgas generavo atsakymus naudodamas senus kitų vartotojų duomenis.
„Apple“ pristatė GHARP – naują 3D žmonių galvų animacijos metodą, pagrįstą dviejų pakopų „Gaussian Splatting“ architektūra. Atskyrus statinį tapatybės atkūrimą nuo lengvo, mobiliesiems įrenginiams optimizuoto mimikos prognozavimo, modelis pasiekia aukščiausius rezultatus „Ava-256“ standarte išlaikydamas efektyvumą.
IBM atnaujino savo programinės įrangos ekosistemą, kad Spyre duomenų srauto spartintuvas būtų laikomas aukščiausios klasės PyTorch pagrindine sistema. Naudodami TorchDynamo ir TorchInductor, kūrėjai dabar gali paleisti modelius IBM Z, LinuxONE ir Power sistemose, naudodami standartinius PyTorch darbo eigų ir vLLM papildinius.
Cohere išleido viešą beta versiją „Confidential Computing on Model Vault“, veikiančią su NVIDIA H100 GPU per Microsoft Azure. Sistema šifruoja duomenis naudojimo metu tiek CPU, tiek GPU lygmenyje, šifruoja pačią užklausą naudodama Oblivious HTTP (OHTTP) ir taiko nuotolinį atestavimą, kad klientas galėtų patikrinti aplinką prieš siunčiant jautrius duomenis. Jei patikra nepavyksta, klientas atsisako siųsti apsaugotą užklausą. Cohere planuoja atverti konfidencialaus apdorojimo kodą ir išplėsti palaikymą iki NVIDIA Blackwell (B200) GPU siekiant bendros prieinamybės.
NVIDIA pristatė Minerva – operacijų platformą, kuri sujungia telemetriją iš GPU, tinklo įrangos, saugyklų ir vykdomų užduočių, kad operatoriai galėtų pastebėti problemas masiniuose GPU klasteriuose anksčiau, nei jos sukelia prastovas. Mašininio mokymosi modeliai sudaro gyvą techninės įrangos ir darbo krūvių žemėlapį, pažymi neįprastą elgseną ir sugrupuoja susijusius perspėjimus į vieną incidentą su tikėtina priežastimi, užuot užtvindę komandas atskirais pranešimais. Įmontuotas asistentas leidžia darbuotojams užduoti klausimus apie klasterio būklę natūralia kalba, o sistema gali jungtis prie automatizavimo įrankių, kad vykdytų taisymus. IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI ir Tesla jau ruošiasi ją naudoti, o Dell, Lenovo ir Supermicro siūlys ją kaip dalį savo infrastruktūros sprendimų.
„NVIDIA“ išplėtė „Cosmos“ platformą, skirtą „pasaulio modeliams“ fizinio AI ir robotikos sritims, pridėdama naujus duomenų kūrimo šablonus, modelių pritaikymo galimybes ir greitesnį diegimą. Atnaujinime – penki „Cosmos Data Factory“ šablonai sintetiniams ir papildytiems mokymo duomenims kurti, išplėstas „Cosmos Framework“ palaikymas atvirų modelių, tokių kaip GR00T, Alpamayo, QWEN ir Pi0.5, pritaikymui bei atnaujintos „Cosmos 3 NIM“ mikropaslaugos. Tokios kompanijos kaip „Porsche“, „ANYbotics“, „Ultralytics“ ir ADNOC jau naudoja šiuos įrankius autonominių transporto priemonių duomenims generuoti, robotų anomalijoms aptikti, defektų kontrolei ir saugumo stebėjimui.
AWS paskelbė praktinį vadovą apie Adaptive Agentic Intelligence Framework (AAIF), sukurtą ant Strands Agents, kuris paprastas užklausas nukreipia į mažus vietinius modelius (per Ollama), o sudėtingas – į debesijos modelius per Amazon Bedrock. Lengvas 1 milijardo parametrų modelis (llama3.2:1b) veikia kaip orkestratorius, nusprendžiantis, kur nukreipti kiekvieną užklausą; pavyzdyje naudojamas IoT stebėjimo agentas su vietine telemetrijos užklausa, vietine vaizdo analize ir debesijos ekspertinėmis įžvalgomis. AWS teigia, kad hibridinėje konfigūracijoje apie 80 proc. srauto gali būti apdorota vietoje, nekreipiantis į mokamą API, o architektūra gali veikti visiškai krašto įrenginiuose (pvz., Raspberry Pi su 8 GB atminties), visiškai debesijoje arba hibridiniu būdu.
IBM pristatė tris „Granite Speech“ šeimos atnaujinimus: visiškai naują 2B kalbos-kalbos modelį (granite-speech-5.0-2b), patobulintą 470M „Turbo CTC“ modelį, skirtą greičiui, ir patobulintą 4.1-2B-Plus modelį, pritaikytą pokalbiams su keliais kalbėtojais. Kartu jie skirti tikslesnei transkripcijai/vertimui, greitam atpažinimui įrenginyje ir tiksliam kalbėtojų bei laiko žymių nurodymui. Visi trys lieka pagal Apache 2.0 licenciją.
NVIDIA BioNeMo komanda kartu su Vašingtono universiteto Baltymų dizaino institutu pristatė RFD4-Proteina – modelį, kuris vienu metu sugeneruoja tiek baltymo seką, tiek pilną atominę struktūrą, atsisakant atskiro atvirkštinio klostymo (inverse-folding) žingsnio. Dirbdamas su liekanos lygio (residue-level) reprezentacija ir supaprastintu difuzijos procesu, modelis atlieka tik apie 60 žingsnių vietoj maždaug 400, todėl generavimas tampa gerokai greitesnis, o atminties sąnaudos – mažesnės nei ankstesnio modelio RFD3, generuojant 200 liekanų baltymą. Generavimo metu modelis taip pat gali vykdyti apdovanojimu grįstą (reward-guided) paiešką, kuri vertina ir atrenka geriausius dalinius sprendimus naudodama GPU pagreitintus įrankius, tokius kaip OpenFold3 ir TMol. Modelis pateikiamas tiek kaip atvirojo kodo versija GitHub, tiek kaip NIM mikroservisas su HTTP sąsaja, o specialūs įrankiai leidžia automatizuotiems agentams susieti generavimo, paieškos ir vertinimo etapus.