„NVIDIA“ pristatė trijų dalių optimizavimo strategiją, skirtą pagreitinti MoE modelių išvedimą, išbandytą su 124 mlrd. parametrų „Ling-3.0-flash“ modeliu. Naudojant specializuotus „Humming“ branduolius, FP8 tikslumą „LM head“ sluoksnyje ir kelių žetonų prognozavimą (MTP), pralaidumą galima padidinti 42,5 %, o vėlinimą sumažinti 24,5 %.
„Google“ atnaujino savo A2UI generatyvinio UI protokolą, įtraukdama keičiamus išvadų (inference) formatus, taip spręsdama vėlavimo ir patikimumo problemas, susijusias su ankstesniu „Direct JSON“ metodu. Naujasis „A2UI Express“ formatas sumažina tokenų sunaudojimą iki 3 kartų ir delsą iki 3 kartų, naudodamas glaustą „Python“ stiliaus sintaksę.
„Google“ atvėrė viešąją „Gemini Robotics Embodied Reasoning 2“ (ER 2) versijos peržiūrą „Gemini“ platformoje. Šis modelis veikia kaip aukšto lygio kognityvinis robotikos sluoksnis, gebantis planuoti, savarankiškai taisyti užduočių eigą ir valdyti kelių robotų sistemas naudojant natūralios kalbos instrukcijas.
Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.
„Google“ pristatė „Gemini Omni“ – naują vaizdo įrašų generavimo modelį, gebantį kurti ir redaguoti vaizdo įrašus naudojant tekstines užuominas ar paveikslėlius. Šis modelis dabar yra numatytasis „Google“ vaizdo įrašų darbo eigoms, o ankstesnis „Veo“ modelis buvo pašalintas iš API.
OpenAI oficialiai išleido GPT-6.1 Terra – naują modelį, specialiai sukurtą vizualiniam argumentavimui, tiksliam kompiuterio valdymui ir natūralaus teksto generavimui.
„Amazon Bedrock“ dabar palaiko aiškų (explicit) ir numanomą (implicit) užklausų spartinimą (prompt caching) „OpenAI“ modeliams, leidžiantį saugoti ir pakartotinai naudoti statinius duomenis, tokius kaip įrankiai, instrukcijos ir pokalbių istorija. Išvengus identiškų žetonų pakartotinio apdorojimo, galite žymiai sumažinti įvesties kaštus ir pagerinti reagavimą sudėtingose agentų darbo eigose.
IBM atnaujino savo programinės įrangos ekosistemą, kad Spyre duomenų srauto spartintuvas būtų laikomas aukščiausios klasės PyTorch pagrindine sistema. Naudodami TorchDynamo ir TorchInductor, kūrėjai dabar gali paleisti modelius IBM Z, LinuxONE ir Power sistemose, naudodami standartinius PyTorch darbo eigų ir vLLM papildinius.
Z.ai GLM 5.3 Flash – multimodalinis 320B parametrų Mixture-of-Experts modelis su 18B aktyvių parametrų – dabar pasiekiamas per Mistral platformą. Jis turi 1M žetonų konteksto langą ir sukurtas kūrėjų agentų darbo eigoms, vizualiniam programavimui ir sudėtingoms įrankių naudojimo užduotims. Kaina: 0,15 USD už mln. įvesties žetonų, 0,03 USD už mln. talpykloje saugomų įvesties žetonų, 0,50 USD už mln. išvesties žetonų.
Cohere išleido naujausią įmonėms skirtų perrūšiavimo (reranking) modelių kartą Rerank 5, su Pro ir Fast versijomis. Rerank 5 Pro pirmauja pagrindiniuose viešuose testuose, tarp jų BRIGHT, ViDoRe V3, BEIR ir nanoMTEB, o Rerank 5 Fast siūlo beveik tokią pat kokybę už mažesnę kainą ir didesnį pralaidumą. Naujovė – Context Focus funkcija, kuri grąžina ne visą dokumentą, o tik svarbiausius teksto fragmentus, bei kalibruoti aktualumo įverčiai, kurie veikia kaip tikimybės visuose modeliuose ir srityse.
NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.
Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.