NVIDIA pristatė naują komandinės eilutės sąsają „TensorRT Edge-LLM“ vykdymo mechanizmui, leidžiančią kūrėjams greitai kurti ir testuoti dirbtinio intelekto modelius „DGX Spark 64GB“ darbo stotyse. Įrankių rinkinys palengvina modelių paleidimą vietoje ir palaiko „DSpark“ spekuliatyvųjį dekodavimą, skirtą padidinti generavimo spartą ribotų resursų aparatinėje įrangoje.
NVIDIA pristatė „NemoClaw“ – atvirą „blueprint“ sistemą, skirtą sujungti agentų „harness“ su optimizuotais „Nemotron“ modeliais ir saugiomis vykdymo aplinkomis. Tai leidžia kūrėjams diegti agentus, kurie yra valdomi griežtomis saugumo politikomis, išlaikant aukštą našumą savo infrastruktūroje.
Pristatytas „Artifact Distillation“ metodas, leidžiantis galingiems modeliams eksportuoti savo sprendimų priėmimo procesus į išorinę duomenų saugyklą. Mažesni modeliai, naudodamiesi šia informacija vykdymo metu, pasiekia geresnių rezultatų be būtinybės atlikti brangų modelio tobulinimą (fine-tuning).
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
AWS pristatė paruoštus „Ray Train“ gilaus mokymosi konteinerius (DLC), kuriuose viename patikrintame atvaizde sujungtos „PyTorch“, „CUDA“, „NCCL“ ir „EFA“ tinklo bibliotekos. Tai leidžia jūsų įmonei diegti paskirstytojo mokymo grupes „Amazon EKS“ platformoje, nereikalaujant prižiūrėti pritaikytų atvaizdų kūrimo procesų ar spręsti sudėtingų tvarkyklių suderinamumo problemų.
NVIDIA pristatė CUDA 13.4, įdiegdama skaidrų atminties ribojimą GPU dalijimuisi. Kartu su nauju atvirojo kodo „GPU Fractioning Operator“ ir „KAI Scheduler“ v0.18.0, jūsų įmonė gali tiesiogiai „Kubernetes“ Pod anotacijose nustatyti konkrečius atminties poreikius, maksimalias ribas ir skaičiavimo režimus.
„NVIDIA“ pristatė trijų dalių optimizavimo strategiją, skirtą pagreitinti MoE modelių išvedimą, išbandytą su 124 mlrd. parametrų „Ling-3.0-flash“ modeliu. Naudojant specializuotus „Humming“ branduolius, FP8 tikslumą „LM head“ sluoksnyje ir kelių žetonų prognozavimą (MTP), pralaidumą galima padidinti 42,5 %, o vėlinimą sumažinti 24,5 %.
„Google“ atnaujino savo A2UI generatyvinio UI protokolą, įtraukdama keičiamus išvadų (inference) formatus, taip spręsdama vėlavimo ir patikimumo problemas, susijusias su ankstesniu „Direct JSON“ metodu. Naujasis „A2UI Express“ formatas sumažina tokenų sunaudojimą iki 3 kartų ir delsą iki 3 kartų, naudodamas glaustą „Python“ stiliaus sintaksę.
Tyrėjai sukūrė „TraceQuery“ – retų (sparse) dekodavimo karkasą, mažinantį difuzinių didžiųjų kalbos modelių (dLLM) skaičiavimo kaštus. Analizuojant triukšmo šalinimo trajektorijas, metodas selektyviai perskaičiuoja tik būtinas žetonų (token) reprezentacijas, užuot atlikęs perteklines operacijas, taip išlaikant aukštą tikslumą su mažesniais skaičiavimo resursais.
Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.
„Cloudflare“ nustatė SGLang išvedimo variklio saugumo klaidą, dėl kurios GLM-5.3 modelis atskleidė duomenis tarp skirtingų vartotojų užklausų. Užklausos, viršijusios sukonfigūruotą KV talpyklos dydį, buvo klaidingai apdorotos, todėl dekodavimo mazgas generavo atsakymus naudodamas senus kitų vartotojų duomenis.
IBM atnaujino savo programinės įrangos ekosistemą, kad Spyre duomenų srauto spartintuvas būtų laikomas aukščiausios klasės PyTorch pagrindine sistema. Naudodami TorchDynamo ir TorchInductor, kūrėjai dabar gali paleisti modelius IBM Z, LinuxONE ir Power sistemose, naudodami standartinius PyTorch darbo eigų ir vLLM papildinius.
Cohere išleido viešą beta versiją „Confidential Computing on Model Vault“, veikiančią su NVIDIA H100 GPU per Microsoft Azure. Sistema šifruoja duomenis naudojimo metu tiek CPU, tiek GPU lygmenyje, šifruoja pačią užklausą naudodama Oblivious HTTP (OHTTP) ir taiko nuotolinį atestavimą, kad klientas galėtų patikrinti aplinką prieš siunčiant jautrius duomenis. Jei patikra nepavyksta, klientas atsisako siųsti apsaugotą užklausą. Cohere planuoja atverti konfidencialaus apdorojimo kodą ir išplėsti palaikymą iki NVIDIA Blackwell (B200) GPU siekiant bendros prieinamybės.
AWS paskelbė praktinį vadovą apie Adaptive Agentic Intelligence Framework (AAIF), sukurtą ant Strands Agents, kuris paprastas užklausas nukreipia į mažus vietinius modelius (per Ollama), o sudėtingas – į debesijos modelius per Amazon Bedrock. Lengvas 1 milijardo parametrų modelis (llama3.2:1b) veikia kaip orkestratorius, nusprendžiantis, kur nukreipti kiekvieną užklausą; pavyzdyje naudojamas IoT stebėjimo agentas su vietine telemetrijos užklausa, vietine vaizdo analize ir debesijos ekspertinėmis įžvalgomis. AWS teigia, kad hibridinėje konfigūracijoje apie 80 proc. srauto gali būti apdorota vietoje, nekreipiantis į mokamą API, o architektūra gali veikti visiškai krašto įrenginiuose (pvz., Raspberry Pi su 8 GB atminties), visiškai debesijoje arba hibridiniu būdu.
IBM pristatė tris „Granite Speech“ šeimos atnaujinimus: visiškai naują 2B kalbos-kalbos modelį (granite-speech-5.0-2b), patobulintą 470M „Turbo CTC“ modelį, skirtą greičiui, ir patobulintą 4.1-2B-Plus modelį, pritaikytą pokalbiams su keliais kalbėtojais. Kartu jie skirti tikslesnei transkripcijai/vertimui, greitam atpažinimui įrenginyje ir tiksliam kalbėtojų bei laiko žymių nurodymui. Visi trys lieka pagal Apache 2.0 licenciją.
IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.
NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.
Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.
Red Hat, IBM ir Google pristatė llm-d 1.0 — Kubernetes pagrįstą paskirstytą LLM užklausų aptarnavimo sistemą, kuri peržengė atskirų našumo technikų demonstravimo etapą ir tapo tinkama realiai gamybinei eksploatacijai. Naujoje versijoje pridėta daugiafunkcė paslaugų kokybės kontrolė, nenutrūkstamos naujinimo operacijos ir agentams pritaikytas aptarnavimas, kad tas pats galinis taškas galėtų efektyviai aptarnauti tiek žmones, tiek autonominius agentus. Viename teste llm-d prefiksų talpyklos maršrutizatorius pasiekė 97% talpyklos pakartotinio panaudojimo agentiniame programavimo scenarijuje, o IBM/Red Hat paleido 3000 vienu metu veikiančių programinės įrangos inžinerijos agentų 5-10 kartų pigiau nei naudojant tą patį modelį kaip talpinamą paslaugą.
AWS visiems „Anthropic Claude“ modeliams, veikiantiems „Amazon Bedrock“ platformoje, įdiegė struktūrizuotus atsakymus — tiek standartiniame runtime endpoint'e, tiek naujesniame agentinėms užduotims skirtame Mantle endpoint'e. Vietoj tikėjimosi, kad modelis grąžins teisingą JSON, kūrėjai dabar gali priversti atsakymus tiksliai atitikti schemą naudojant apribotą dekodavimą, kuris neleidžia modeliui generuoti formatą pažeidžiančių token'ų. Papildoma funkcija — griežtas įrankių naudojimas (strict tool use) — tą patį garantą taiko ir funkcijų iškvietimo parametrams, kad agentų darbo eigos nenutrūktų dėl netinkamo formato įvesties.
AWS ir Deepgram kartu perrašė Nova-3 kalbos atpažinimo modelį, kad jis veiktų tiesiogiai ant Trainium2 lustų vietoj įprastos GPU pagrįstos PyTorch infrastruktūros, orientuojantis į didelio masto nesinchroninius transkripcijos darbus. Darbo metu buvo perrašyti lėčiausi sluoksniai į individualius branduolius (kernels), o Python paslaugų sluoksnis pakeistas Rust laikomąja sistema, tiesiogiai kreipiantis į Trainium. Rezultatas: viena trn2.3xlarge instancija, vykdanti aštuonias lygiagrečias modelio kopijas, apdoroja 11-70% daugiau garso vienam doleriui nei ankstesnė Deepgram infrastruktūra, o panašus sutaupymas potencialiai pasiekiamas klientams, savarankiškai diegiantiems sprendimą per SageMaker.
AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.
IBM pristatė Granite Switch 4.1 8B ir 30B dydžio versijas – modulinę sistemą, kuri vykdo pokalbį, sprendimų priėmimą ir kalbos transkripciją iš vieno talpinamo endpoint'o, o ne iš atskirų modelių. Atnaujinime pridėtas bendros paskirties sprendimų adapteris, specializuotas „Guardian“ adapteris saugumo klasifikacijai ir integruotas ASR modelis Granite-Speech-5.0-Turbo-CTC, pirmaujantis OpenASR reitinge. Nors sujungtos trys funkcijos, bendras modelis naudoja maždaug tiek pat VRAM, kiek ir pagrindinis modelis vienas.