Cohere išleido naujausią įmonėms skirtų perrūšiavimo (reranking) modelių kartą Rerank 5, su Pro ir Fast versijomis. Rerank 5 Pro pirmauja pagrindiniuose viešuose testuose, tarp jų BRIGHT, ViDoRe V3, BEIR ir nanoMTEB, o Rerank 5 Fast siūlo beveik tokią pat kokybę už mažesnę kainą ir didesnį pralaidumą. Naujovė – Context Focus funkcija, kuri grąžina ne visą dokumentą, o tik svarbiausius teksto fragmentus, bei kalibruoti aktualumo įverčiai, kurie veikia kaip tikimybės visuose modeliuose ir srityse.
Cloudflare pristatė „full transaction detection“ ir atsakymo taisykles savo žiniatinklio aplikacijų ugniasienei (WAF), kurios vertina ir HTTP užklausą, ir serverio atsakymą, kad patvirtintų, ar ataka iš tikrųjų pavyko. Anksčiau WAF tikrino tik gaunamas užklausas, todėl galėjo praleisti išnaudojimus, kurie atsiskleidžia tik atsakyme (pvz., nutekėjęs failo turinys), arba sukelti klaidingus suveikimus, blokuojant vien pagal užklausos požymius. Pirmosios valdomos apsaugos skirtos neseniai atskleistai php2shell pažeidžiamumui, o funkcija prieinama visiems klientams, įskaitant Free planą.
NVIDIA BioNeMo komanda kartu su Vašingtono universiteto Baltymų dizaino institutu pristatė RFD4-Proteina – modelį, kuris vienu metu sugeneruoja tiek baltymo seką, tiek pilną atominę struktūrą, atsisakant atskiro atvirkštinio klostymo (inverse-folding) žingsnio. Dirbdamas su liekanos lygio (residue-level) reprezentacija ir supaprastintu difuzijos procesu, modelis atlieka tik apie 60 žingsnių vietoj maždaug 400, todėl generavimas tampa gerokai greitesnis, o atminties sąnaudos – mažesnės nei ankstesnio modelio RFD3, generuojant 200 liekanų baltymą. Generavimo metu modelis taip pat gali vykdyti apdovanojimu grįstą (reward-guided) paiešką, kuri vertina ir atrenka geriausius dalinius sprendimus naudodama GPU pagreitintus įrankius, tokius kaip OpenFold3 ir TMol. Modelis pateikiamas tiek kaip atvirojo kodo versija GitHub, tiek kaip NIM mikroservisas su HTTP sąsaja, o specialūs įrankiai leidžia automatizuotiems agentams susieti generavimo, paieškos ir vertinimo etapus.
IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.
„Google Cloud“ ir NVIDIA paskelbė apie A5X instancijų, sukurtų ant NVIDIA „Vera Rubin“ NVL72 GPU, ConnectX-9 SuperNIC ir „Google“ Virgo tinklo, prieinamumą. Sistema skirta masinio mastelio agentiniam išvedimui ir sustiprinto mokymosi (reinforcement learning) darbo krūviams. „Google Cloud“ planuoja išplėsti „Vera Rubin“ infrastruktūrą iki 960 000 Rubin GPU keliose vietose, bendras prieinamumas numatytas kitą mėnesį, vėliau – Europoje. Pirmasis klientas – Londone įsikūrusi „Ineffable Intelligence“, kurią įkūrė AlphaGo kūrėjas David Silver, naudoja platformą „superlearner“ sistemoms kurti.
NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.
NVIDIA išleido OpenShell — atvirojo kodo vykdymo aplinką, kuri agentų darbo krūvius traktuoja kaip nepatikimus ir suteikia prieigą prie failų, įrankių bei sistemų tik tada, kai jos reikia. Kartu pristatomas naujas NVIDIA Vera procesorius, o papildomai — BlueField-4 DPU su NVIDIA Sentry techninei stebėsenai. NVIDIA teigia, kad kartu šie elementai sudaro pilną referencinę architektūrą saugiam autonominių agentų veikimui duomenų centrų mastu.
NVIDIA pristatė „Sentry“ – naują saugumo sistemą, veikiančią už AI agento pasiekiamumo ribų: ji vykdo politikas ir stebi elgseną iš atskiro aparatinio pasitikėjimo domeno, veikiančio „BlueField-4“ DPU. Idėja paprasta: net jei agentas pažeidžiamas ar nukrypsta nuo numatyto elgesio naudodamas įrankius ir prisijungimo duomenis, „Sentry“ tęsia stebėjimą ir gali jį sustabdyti, nes nepriklauso nuo pagrindinės sistemos (host OS), kurioje agentas veikia. Du komponentai atlieka pagrindinį darbą – „DOCA Tower“, tarpinis serveris, tikrinantis ir autorizuojantis kiekvieną agento tinklo užklausą, ir „DOCA Argus“, skaitantis realaus laiko atmintį, kad suprastų, kas iš tikrųjų vyksta. Pastebėjus ką nors įtartino, sistema gali izoliuoti agentą per milisekundes, nereikalaujant jokio agento ar pagrindinės sistemos bendradarbiavimo.
Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.