Pristatytas „Artifact Distillation“ metodas, leidžiantis galingiems modeliams eksportuoti savo sprendimų priėmimo procesus į išorinę duomenų saugyklą. Mažesni modeliai, naudodamiesi šia informacija vykdymo metu, pasiekia geresnių rezultatų be būtinybės atlikti brangų modelio tobulinimą (fine-tuning).
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
„Cisco Talos“ aptiko „NIK C2“ – sudėtingą „Windows“ operacinei sistemai skirtą kenkėjišką karkasą, parašytą „Go“ kalba, kuris tiesiogiai integruoja „OpenAI API“ užklausas. Šis įrankis leidžia užpuolikams vagoti prisijungimo duomenis, stebėti klavišų paspaudimus ir atlikti šoninį judėjimą tinkle, kartu realiuoju laiku analizuojant pavogtus duomenis pasitelkiant dirbtinį intelektą. Kenkėjiška programa bando pasinaudoti lokaliai aukos kompiuteryje sukonfigūruotais „OpenAI“ raktais, kad apmokėtų dirbtinio intelekto sąnaudas.
AWS pristatė paruoštus „Ray Train“ gilaus mokymosi konteinerius (DLC), kuriuose viename patikrintame atvaizde sujungtos „PyTorch“, „CUDA“, „NCCL“ ir „EFA“ tinklo bibliotekos. Tai leidžia jūsų įmonei diegti paskirstytojo mokymo grupes „Amazon EKS“ platformoje, nereikalaujant prižiūrėti pritaikytų atvaizdų kūrimo procesų ar spręsti sudėtingų tvarkyklių suderinamumo problemų.
NVIDIA pristatė CUDA 13.4, įdiegdama skaidrų atminties ribojimą GPU dalijimuisi. Kartu su nauju atvirojo kodo „GPU Fractioning Operator“ ir „KAI Scheduler“ v0.18.0, jūsų įmonė gali tiesiogiai „Kubernetes“ Pod anotacijose nustatyti konkrečius atminties poreikius, maksimalias ribas ir skaičiavimo režimus.
„NVIDIA“ pristatė trijų dalių optimizavimo strategiją, skirtą pagreitinti MoE modelių išvedimą, išbandytą su 124 mlrd. parametrų „Ling-3.0-flash“ modeliu. Naudojant specializuotus „Humming“ branduolius, FP8 tikslumą „LM head“ sluoksnyje ir kelių žetonų prognozavimą (MTP), pralaidumą galima padidinti 42,5 %, o vėlinimą sumažinti 24,5 %.
„Google“ atnaujino savo A2UI generatyvinio UI protokolą, įtraukdama keičiamus išvadų (inference) formatus, taip spręsdama vėlavimo ir patikimumo problemas, susijusias su ankstesniu „Direct JSON“ metodu. Naujasis „A2UI Express“ formatas sumažina tokenų sunaudojimą iki 3 kartų ir delsą iki 3 kartų, naudodamas glaustą „Python“ stiliaus sintaksę.
Tyrėjai sukūrė „TraceQuery“ – retų (sparse) dekodavimo karkasą, mažinantį difuzinių didžiųjų kalbos modelių (dLLM) skaičiavimo kaštus. Analizuojant triukšmo šalinimo trajektorijas, metodas selektyviai perskaičiuoja tik būtinas žetonų (token) reprezentacijas, užuot atlikęs perteklines operacijas, taip išlaikant aukštą tikslumą su mažesniais skaičiavimo resursais.
Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.
„Cloudflare“ nustatė SGLang išvedimo variklio saugumo klaidą, dėl kurios GLM-5.3 modelis atskleidė duomenis tarp skirtingų vartotojų užklausų. Užklausos, viršijusios sukonfigūruotą KV talpyklos dydį, buvo klaidingai apdorotos, todėl dekodavimo mazgas generavo atsakymus naudodamas senus kitų vartotojų duomenis.
IBM atnaujino savo programinės įrangos ekosistemą, kad Spyre duomenų srauto spartintuvas būtų laikomas aukščiausios klasės PyTorch pagrindine sistema. Naudodami TorchDynamo ir TorchInductor, kūrėjai dabar gali paleisti modelius IBM Z, LinuxONE ir Power sistemose, naudodami standartinius PyTorch darbo eigų ir vLLM papildinius.
Cohere išleido viešą beta versiją „Confidential Computing on Model Vault“, veikiančią su NVIDIA H100 GPU per Microsoft Azure. Sistema šifruoja duomenis naudojimo metu tiek CPU, tiek GPU lygmenyje, šifruoja pačią užklausą naudodama Oblivious HTTP (OHTTP) ir taiko nuotolinį atestavimą, kad klientas galėtų patikrinti aplinką prieš siunčiant jautrius duomenis. Jei patikra nepavyksta, klientas atsisako siųsti apsaugotą užklausą. Cohere planuoja atverti konfidencialaus apdorojimo kodą ir išplėsti palaikymą iki NVIDIA Blackwell (B200) GPU siekiant bendros prieinamybės.
NVIDIA pristatė Minerva – operacijų platformą, kuri sujungia telemetriją iš GPU, tinklo įrangos, saugyklų ir vykdomų užduočių, kad operatoriai galėtų pastebėti problemas masiniuose GPU klasteriuose anksčiau, nei jos sukelia prastovas. Mašininio mokymosi modeliai sudaro gyvą techninės įrangos ir darbo krūvių žemėlapį, pažymi neįprastą elgseną ir sugrupuoja susijusius perspėjimus į vieną incidentą su tikėtina priežastimi, užuot užtvindę komandas atskirais pranešimais. Įmontuotas asistentas leidžia darbuotojams užduoti klausimus apie klasterio būklę natūralia kalba, o sistema gali jungtis prie automatizavimo įrankių, kad vykdytų taisymus. IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI ir Tesla jau ruošiasi ją naudoti, o Dell, Lenovo ir Supermicro siūlys ją kaip dalį savo infrastruktūros sprendimų.
IBM pristatė tris „Granite Speech“ šeimos atnaujinimus: visiškai naują 2B kalbos-kalbos modelį (granite-speech-5.0-2b), patobulintą 470M „Turbo CTC“ modelį, skirtą greičiui, ir patobulintą 4.1-2B-Plus modelį, pritaikytą pokalbiams su keliais kalbėtojais. Kartu jie skirti tikslesnei transkripcijai/vertimui, greitam atpažinimui įrenginyje ir tiksliam kalbėtojų bei laiko žymių nurodymui. Visi trys lieka pagal Apache 2.0 licenciją.
IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.
„Google Cloud“ ir NVIDIA paskelbė apie A5X instancijų, sukurtų ant NVIDIA „Vera Rubin“ NVL72 GPU, ConnectX-9 SuperNIC ir „Google“ Virgo tinklo, prieinamumą. Sistema skirta masinio mastelio agentiniam išvedimui ir sustiprinto mokymosi (reinforcement learning) darbo krūviams. „Google Cloud“ planuoja išplėsti „Vera Rubin“ infrastruktūrą iki 960 000 Rubin GPU keliose vietose, bendras prieinamumas numatytas kitą mėnesį, vėliau – Europoje. Pirmasis klientas – Londone įsikūrusi „Ineffable Intelligence“, kurią įkūrė AlphaGo kūrėjas David Silver, naudoja platformą „superlearner“ sistemoms kurti.
NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.
Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.
Google paskelbė naujus vLLM ir SGLang išvedimo (inference) variklius, sukurtus tiesiogiai ant PyTorch TPU įrenginiams, kuriuos kūrė kartu su Inferact ir RadixArk. Varikliai veikia ant naujo TorchTPU sluoksnio, kuris paverčia TPU natūraliu PyTorch įrenginiu, pakeisdamas ankstesnį JAX pagrindu veikusį sprendimą. Google praneša apie viešą 2,01 cento už milijoną tokenų savikainą esant dideliam lygiagretumui per SemiAnalysis InferenceX projektą, taip pat palaikomus agentinius darbo krūvius, ilgą kontekstą, atskirtą (disaggregated) aptarnavimą ir multimodalius modelius.
„Google Research“ paskelbė apie paskutinį „Coral NPU“ atviro aparatinės įrangos standarto etapą – 32 bitų RISC-V architektūrą su nauju Matricų vykdymo bloku (iki 1 TOPS, apie 10mW), bei v1.0 atvirojo kodo IREE/MLIR kompiliatorių, kuris modelius iš JAX, PyTorch ir TensorFlow tiesiogiai perkelia į aparatinę įrangą. „Synaptics“ pristato pirmus komercinius lustus, sukurtus pagal šį standartą, įskaitant „Astra SR200“ mikrovaldiklių seriją (400 GOPS) ir naujus „Coralboard SR“ bei „SL“ kūrėjų rinkinius, o „SL“ versija jau visuotinai prieinama per „DigiKey“. „Google“ taip pat bendradarbiauja su „VeriSilicon“ ir „GlobalFoundries“, siekdama pritaikyti atvirą RTL gamybiniams lustams.
Red Hat, IBM ir Google pristatė llm-d 1.0 — Kubernetes pagrįstą paskirstytą LLM užklausų aptarnavimo sistemą, kuri peržengė atskirų našumo technikų demonstravimo etapą ir tapo tinkama realiai gamybinei eksploatacijai. Naujoje versijoje pridėta daugiafunkcė paslaugų kokybės kontrolė, nenutrūkstamos naujinimo operacijos ir agentams pritaikytas aptarnavimas, kad tas pats galinis taškas galėtų efektyviai aptarnauti tiek žmones, tiek autonominius agentus. Viename teste llm-d prefiksų talpyklos maršrutizatorius pasiekė 97% talpyklos pakartotinio panaudojimo agentiniame programavimo scenarijuje, o IBM/Red Hat paleido 3000 vienu metu veikiančių programinės įrangos inžinerijos agentų 5-10 kartų pigiau nei naudojant tą patį modelį kaip talpinamą paslaugą.
AWS visiems „Anthropic Claude“ modeliams, veikiantiems „Amazon Bedrock“ platformoje, įdiegė struktūrizuotus atsakymus — tiek standartiniame runtime endpoint'e, tiek naujesniame agentinėms užduotims skirtame Mantle endpoint'e. Vietoj tikėjimosi, kad modelis grąžins teisingą JSON, kūrėjai dabar gali priversti atsakymus tiksliai atitikti schemą naudojant apribotą dekodavimą, kuris neleidžia modeliui generuoti formatą pažeidžiančių token'ų. Papildoma funkcija — griežtas įrankių naudojimas (strict tool use) — tą patį garantą taiko ir funkcijų iškvietimo parametrams, kad agentų darbo eigos nenutrūktų dėl netinkamo formato įvesties.
AWS ir Deepgram kartu perrašė Nova-3 kalbos atpažinimo modelį, kad jis veiktų tiesiogiai ant Trainium2 lustų vietoj įprastos GPU pagrįstos PyTorch infrastruktūros, orientuojantis į didelio masto nesinchroninius transkripcijos darbus. Darbo metu buvo perrašyti lėčiausi sluoksniai į individualius branduolius (kernels), o Python paslaugų sluoksnis pakeistas Rust laikomąja sistema, tiesiogiai kreipiantis į Trainium. Rezultatas: viena trn2.3xlarge instancija, vykdanti aštuonias lygiagrečias modelio kopijas, apdoroja 11-70% daugiau garso vienam doleriui nei ankstesnė Deepgram infrastruktūra, o panašus sutaupymas potencialiai pasiekiamas klientams, savarankiškai diegiantiems sprendimą per SageMaker.