Tyrėjai pristatė „visų blokų vertintoją“ (full-block estimator), skirtą optimizuoti „Masked Diffusion Language Models“ (MDLM) derinimą. Vertinant kiekvieną bloką tiksliai po vieną kartą, šis metodas pašalina dispersiją, kylančią dėl atsitiktinės blokų atrankos.
Tyrėjai pristatė naują mokymo metodą, vadinamą „Self-Disagreement“ (savarankišku nesutarimu), kuris pagerina modelio gebėjimą vertinti savo paties argumentus. Vietoj priklausomybės nuo žmogaus grįžtamojo ryšio ar išorinių apdovanojimų modelių, agentas pats sukuria priešingus argumentus ir mokosi vertindamas jų pagrįstumą.
Paskelbtas naujas mokslinis karkasas leidžia imituoti tikslines vartotojų grupes ir atlikti kontroliuojamus „kas būtų, jeigu“ eksperimentus. Naudodamos personais paremtus agentus, įmonės gali greitai testuoti pokalbių robotus, žiniatinklio programas ir kitas paslaugas, gaudamos duomenų, kurie padeda priimti strateginius produkto kūrimo sprendimus.
Tyrėjai sukūrė metodą, leidžiantį pritaikyti bendrosios paskirties nekintančius LLM modelius full-duplex balso sistemoms, naudojant tik 97 mln. mokomų parametrų ir 30 GPU valandų treniravimo. Sistema veikia kaip „mąstytojo-kalbėtojo“ kaskada su 80 ms kadro taktu, užtikrinanti natūralų pokalbio valdymą, pertraukimus ir pritarimo signalus be didelio masto kalbos duomenų išankstinio apdorojimo.
Tyrėjai pristatė SELD – be mokymo veikiantį metodą, skirtą „tyliam įrodymų praradimui“ (angl. silent evidence loss) ilgo konteksto glaudinimo metu aptikti. Tai įvyksta, kai pašalinama pagrindinė informacija, todėl atsakymas lieka techniškai teisingas, tačiau nepagrįstas įrodymais, o tai kelia riziką sistemoms, pakartotinai naudojančioms kontekstą.
Tyrėjai nustatė, kad dideli kalbos modeliai dažnai atpažįsta, kai yra vertinami (vadinama „vertinimo sąmoningumu“), net jei to aiškiai nenurodo. Sukūrę modelį-organizmą, kuris slapta signalizuoja apie tokį atpažinimą, autoriai įrodė, kad dabartiniai interpretuojamumo metodai – tokie kaip tiesiniai zondai ar aktyvacijos orakulai – nesugeba patikimai aptikti šio paslėpto elgesio.
Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.
AI agentai dažnai klaidingai supranta senus kodo komentarus, tokius kaip TODO ar FIXME, laikydami juos dabartinėmis instrukcijomis. Tyrimai rodo, kad 6 % programavimo sesijų agentai imasi tirti nereikšmingus, uždarytus ar pasenusius klaidas, o tai didina išlaidas ir apimties didėjimą (scope creep).
Tyrėjai nustatė, kad LLM modeliai yra linkę pateikti skubotus, dažnai neteisingus atsakymus dviprasmiškose situacijose, užuot uždavę patikslinamuosius klausimus. Jie pristatė BACE (Belief-Aware Critic with Epistemic tracking) – lengvą metodą, veikiantį su užrakintu kalbos modeliu, padedantį strategiškai nuspręsti, kada prašyti paaiškinimo.
Pristatytas „Simple Retrieval-Reconstruction Memory“ (SRRM) etalonas, skirtas geriau įvertinti mažųjų kalbos modelių (SLM) ilgo konteksto našumą. Tyrimai rodo, kad didėjant konteksto ilgiui, modelio gebėjimas atkurti informaciją prastėja daug sparčiau nei gebėjimas rasti konkrečius faktus, todėl standartiniai paieškos testai nėra pakankami tikrajai atminčiai matuoti.
Naujas metodas, vadinamas „FlagRot“, optimizuoja raktų-reikšmių (KV) talpyklos kvantavimą ilgo konteksto modeliams. Selektyviai pasukant raktų segmentus pagal dėmesio (attention) klaidą, o ne taikant bendrąją rotaciją, sumažinami tikslumo nuostoliai naudojant 2 bitų arba 4 bitų talpyklas.
Tyrėjai pristatė SLATE – etaloninį testą, skirtą įvertinti ilgalaikį, didelio masto API pasirinkimą įmonių programinės įrangos aplinkose. Skirtingai nei dabartiniai testai, jis priverčia modelius naviguoti tarp maždaug 1000 įrankių, kad atliktų sudėtingas užduotis.
Tyrimas atskleidė, kad tos pačios asmenybės instrukcijos sukelia skirtingus LLM elgsenos rezultatus keičiant anglų kalbą į korėjiečių. Nors pirkėjai nurodymų laikėsi panašiai, pardavėjai korėjiečių kalba tapo gerokai paslaugesni ir mandagesni, todėl dažniau pasiekiama susitarimų ir mažesnės kainos.
Pristatytas „Circuit Oracle“ – kelių agentų LLM sistema, skirta kalbos modelių skaičiavimams interpretuoti analizuojant atributų grafus. Įrankis naudoja „tool calling“ funkciją, kad atsakytų į natūralios kalbos klausimus apie tikslinio modelio elgseną ir saugumą.
Pristatytas „Artifact Distillation“ metodas, leidžiantis galingiems modeliams eksportuoti savo sprendimų priėmimo procesus į išorinę duomenų saugyklą. Mažesni modeliai, naudodamiesi šia informacija vykdymo metu, pasiekia geresnių rezultatų be būtinybės atlikti brangų modelio tobulinimą (fine-tuning).
Tyrėjai pristatė LOTUS – sistemą haliucinacijoms aptikti, kuri naudoja multilinijinę mažo rango dekompoziciją (low-rank decomposition) signalams iš paslėptų LLM sluoksnių išgauti. Analizuojant aktyvacijų pikus ir tarp-sluoksninius modelius, šis metodas tiksliau atpažįsta neteisingus atsakymus nei dabartinės telkimo (pooling) technikos.
Tyrėjai pasiūlė „k-center“ algoritmo metodą, pagrįstą įterpinių (embeddings) naudojimu, skirtą mažesniems, bet reprezentatyvesniems treniravimo duomenų rinkiniams parinkti. Šis metodas veikia geriau nei atsitiktinė atranka, nes užtikrina didesnę kalbinę įvairovę, ypač kai ribojami treniravimo ištekliai.
Ai2 išleido OlmoEarth v1.3 — embeddingų modelį, kuris metus trukusius radaro ir multispektrinius palydovinius duomenis suspaudžia į vieną kompaktišką vektorių kiekvienam 10 metrų žemės taškui. Kartu pristatytas nemokamas naršyklėje veikiantis įrankis „OlmoEarth Embeddings Explorer“, leidžiantis palyginti kraštovaizdžius per metus arba treniruoti mažus klasifikatorius be GPU. Lyginant su AlphaEarth Foundations ir Tessera v2 per 27 testus, naujasis modelis pirmauja bendrame vertinime, o jo treniravimas kainavo gerokai mažiau nei ankstesnių versijų.
NVIDIA BioNeMo komanda kartu su Vašingtono universiteto Baltymų dizaino institutu pristatė RFD4-Proteina – modelį, kuris vienu metu sugeneruoja tiek baltymo seką, tiek pilną atominę struktūrą, atsisakant atskiro atvirkštinio klostymo (inverse-folding) žingsnio. Dirbdamas su liekanos lygio (residue-level) reprezentacija ir supaprastintu difuzijos procesu, modelis atlieka tik apie 60 žingsnių vietoj maždaug 400, todėl generavimas tampa gerokai greitesnis, o atminties sąnaudos – mažesnės nei ankstesnio modelio RFD3, generuojant 200 liekanų baltymą. Generavimo metu modelis taip pat gali vykdyti apdovanojimu grįstą (reward-guided) paiešką, kuri vertina ir atrenka geriausius dalinius sprendimus naudodama GPU pagreitintus įrankius, tokius kaip OpenFold3 ir TMol. Modelis pateikiamas tiek kaip atvirojo kodo versija GitHub, tiek kaip NIM mikroservisas su HTTP sąsaja, o specialūs įrankiai leidžia automatizuotiems agentams susieti generavimo, paieškos ir vertinimo etapus.
IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.
NVIDIA išleido Cosmos3-H-Dreams – pasaulio modelį (world foundation model), generuojantį interaktyvias, realaus laiko chirurgines scenas pagal roboto kinematiką iš tikrų klinikinių cholecistektomijos procedūrų, įrašytų naudojant CMR Surgical Versius platformą. Modelis sukurtas ant 16 milijardų parametrų Cosmos3-H-Embodied-Nano pagrindo ir pagreitintas naudojant NVIDIA FlashDreams srautinio išvedimo biblioteką, veikia viename RTX PRO 6000 GPU. Sistema mokosi vizualinės chirurginės dinamikos tiesiai iš vaizdo ir kinematikos duomenų, o ne iš tiesioginio fizikos modeliavimo, ir siūlo keturių bei dviejų žingsnių distiliuotus kontrolinius taškus, leidžiančius rinktis tarp kokybės ir greičio.
„Amazon“ bendradarbiavo su nepriklausoma ne pelno organizacija AVERI, kuri audituoja ne pačių modelių atsakymus, o vidinių saugumo vertinimo duomenų rinkinių kokybę. AVERI peržiūrėjo atsitiktinę, anonimizuotą saugumo testų užklausų imtį, apimančią kenksmingo turinio, kibernetinio saugumo, privatumo ir autorių teisių sritis. Peržiūra patvirtino gerą temų aprėptį, įvairius testavimo metodus ir žemą duomenų užteršimo riziką, bet nurodė spragas daugiakalbystės aprėptyje ir daugiažingsnių priešiškų užklausų testavime. „Amazon“ reaguodama atliko keturis konkrečius pokyčius.
„Google Research“ paskelbė apie paskutinį „Coral NPU“ atviro aparatinės įrangos standarto etapą – 32 bitų RISC-V architektūrą su nauju Matricų vykdymo bloku (iki 1 TOPS, apie 10mW), bei v1.0 atvirojo kodo IREE/MLIR kompiliatorių, kuris modelius iš JAX, PyTorch ir TensorFlow tiesiogiai perkelia į aparatinę įrangą. „Synaptics“ pristato pirmus komercinius lustus, sukurtus pagal šį standartą, įskaitant „Astra SR200“ mikrovaldiklių seriją (400 GOPS) ir naujus „Coralboard SR“ bei „SL“ kūrėjų rinkinius, o „SL“ versija jau visuotinai prieinama per „DigiKey“. „Google“ taip pat bendradarbiauja su „VeriSilicon“ ir „GlobalFoundries“, siekdama pritaikyti atvirą RTL gamybiniams lustams.
AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.