Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.
AI agentai dažnai klaidingai supranta senus kodo komentarus, tokius kaip TODO ar FIXME, laikydami juos dabartinėmis instrukcijomis. Tyrimai rodo, kad 6 % programavimo sesijų agentai imasi tirti nereikšmingus, uždarytus ar pasenusius klaidas, o tai didina išlaidas ir apimties didėjimą (scope creep).
Tyrėjai nustatė, kad LLM modeliai yra linkę pateikti skubotus, dažnai neteisingus atsakymus dviprasmiškose situacijose, užuot uždavę patikslinamuosius klausimus. Jie pristatė BACE (Belief-Aware Critic with Epistemic tracking) – lengvą metodą, veikiantį su užrakintu kalbos modeliu, padedantį strategiškai nuspręsti, kada prašyti paaiškinimo.
Tyrėjai pristatė SLATE – etaloninį testą, skirtą įvertinti ilgalaikį, didelio masto API pasirinkimą įmonių programinės įrangos aplinkose. Skirtingai nei dabartiniai testai, jis priverčia modelius naviguoti tarp maždaug 1000 įrankių, kad atliktų sudėtingas užduotis.
„Google“ pristatė „Physical-Engineering's Last Exam“ (PLE) – naują vertinimo sistemą, skirtą tikrinti DI agentų gebėjimus mechaninės, elektros, civilinės ir struktūrinės inžinerijos srityse. Skirtingai nei standartiniuose testuose, PLE reikalauja, kad agentai apdorotų didelius projekto aplankus, įskaitant CAD brėžinius ir statybos normas, ir pateiktų saugius, reikalavimus atitinkančius sprendimus.
Pristatytas „Circuit Oracle“ – kelių agentų LLM sistema, skirta kalbos modelių skaičiavimams interpretuoti analizuojant atributų grafus. Įrankis naudoja „tool calling“ funkciją, kad atsakytų į natūralios kalbos klausimus apie tikslinio modelio elgseną ir saugumą.
„Apple“ tyrėjai pristatė naują mobiliųjų UI agentų mokymo infrastruktūrą, kuri atskiria navigacijos logiką nuo vizualinio atpažinimo. Naudojant žingsninį atlygį iš LLM vertintojo ir naują GiGPPO vertinimo metodą, šie agentai pasižymi didesniu patikimumu nei modeliai, apmokyti tik stacionariais duomenimis.
Naujausi tyrimai rodo, kad kalbos modeliai nesugeba prisitaikyti prie besikeičiančių vartotojo preferencijų ir dažnai tiesiog aklai remiasi pasenusiais duomenimis. Nors modeliai geba atpažinti tinkamą strategiją atrankos testuose, laisvos formos generavimo metu jų tikslumas krenta 35–46%.
Tyrėjai pristatė „Recursive Semantic Divergence“ (RSD) – neprižiūrimą metriką, kuri matuoja ir baudžia už nenuoseklumą LLM agentų trajektorijose. Naudojant RSD kaip atlygio signalą tiksliojo derinimo (fine-tuning) metu, modeliai demonstruoja daug stabilesnį elgesį ir didesnius sėkmės rodiklius atliekant įrankių naudojimo užduotis.
Naujas tyrimas kvestionuoja įsitikinimą, kad AI agento likimas prieš prompt injection ataką nulemiamas tą akimirką, kai jis perskaito kenkėjišką tekstą. Tyrėjai sukūrė šakojamų pakartojimų (branching rollouts) metodą AgentDojo testų rinkiniuose: jie pakartojo agento eigą iki momento, kai jis aptinka įterptą instrukciją, tada leido likusiai epizodo daliai vystytis daugybe skirtingų būdų, kad išmatuotų, kiek galutinio rezultato jau buvo nulemta, o kiek – dar atvira. Qwen3 agentui be išplėstinio samprotavimo ("thinking") 91 proc. rezultato buvo jau nulemta tą akimirką; įjungus samprotavimą, šis skaičius sumažėjo iki 62 proc., o tai rodo, kad paklusimo sprendimas dažnai tęsiasi dar ilgai po pirmo kontakto su ataka. Samprotavimo įjungimas taip pat sumažino sėkmingų atakų prieš Qwen3 dažnį, tačiau padidino jį dviems kitiems testuotiems modeliams, o bandymų rezultatai samprotaujantiems agentams pasikeisdavo pakartojus testą iki 35 proc. atvejų.
„Google Research“ pristatė tyrimus, kaip AI agentus „įžeminti“ fizinėje laboratorinėje aplinkoje naudojant skaitmeninio dvynio sistemą VERID, leidžiančią agentams saugiai planuoti ir vykdyti skysčių dozavimo robotų protokolus. Kartu su uždaro ciklo molekuliniu dizainu aptamerams ir baltymams, agentai mokėsi iš laboratorinių rezultatų, kelis ciklus gerindami sėkmės rodiklius ir galiausiai aptikdami vienaženklio nanomolinio afiniteto baltymų surišiklius vėžio taikiniui.
IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.
Apple ML tyrėjai paskelbė NeurIPS straipsnį apie SELFCOMPACT – karkasą, leidžiantį kalbos modelių agentams patiems nuspręsti, kada ir kaip glaudinti sukauptą kontekstą, vietoj fiksuoto intervalo glaudinimo pagal žetonų skaičių. Metodas derina modelio iškviečiamą glaudinimo įrankį su lengvu taisyklių rinkiniu, nurodančiu, kada glaudinti (kai použduotis išspręsta) ir kada susilaikyti (vidury išvedimo ar įstrigus). Testuotas šešiuose etalonuose ir septyniuose modeliuose, jis prilygo arba lenkė fiksuoto intervalo glaudinimą naudodamas gerokai mažiau žetonų.
„Apple“ tyrėjai kartu su Singapūro nacionaliniu universitetu paskelbė straipsnį apie RISED – naują LLM agentų mokymo sistemą, skirtą tuo pačiu metu mokytis keliose skirtingose interaktyviose aplinkose. Vietoj to, kad remtųsi tik skaitiniais atlygio signalais, RISED naudoja LLM teisėją, kuris kiekvieną mokymo bandymą pažymi rubrikomis, apibūdinančiomis elgseną, o tada šias žymas naudoja treniruočių duomenims atrinkti ir papildomai priežiūrai suteikti. Autoriai teigia, kad RISED pasiekia aukščiausią vidutinį sėkmės rodiklį tarp aplinkų, palyginti su esamais metodais, ir kiekvienoje testuotoje aplinkoje užima pirmą arba antrą vietą.
„Google Research“ paskelbė ataskaitą iš savo Contextual Agent Privacy and Security (CAPS) seminaro, kurią bendrai parengė daugiau nei 50 mokslininkų ir pramonės atstovų. Ataskaitoje teigiama, kad AI agentai turi gebėti suprasti kontekstines socialines normas, o ne tik statiškus leidimus, kad tinkamai elgtųsi tvarkydami asmens duomenis ir atlikdami veiksmus vartotojo vardu. Siūlomas daugiasluoksnis požiūris, apimantis sistemos lygmens „sandboxing“, modelio lygmens samprotavimą, vartotojui orientuotus valdiklius, kelių agentų apsaugos priemones ir ekosistemos valdymą, remiantis Kontekstinio vientisumo (Contextual Integrity) teorija.
GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.
AWS tyrėjai aprašo sistemą, kuri telekomunikacijų tinklą modeliuoja kaip nuolat atnaujinamą grafą ('skaitmeninį dvynį') ir naudoja AI agentus, vykdančius grafų algoritmų kaskadą (dekompozicija, klasterizavimas, centrališkumo reitingavimas), kad nustatytų gedimų pagrindines priežastis. Metodas pademonstruotas su NTT DOCOMO Mobile World Conference renginyje, teigiama, kad komercijose tinkluose gedimų priežasčių nustatymas sutrumpėjo nuo valandų iki minučių. Agentai taip pat konsultuojasi su incidentų žinių baze bei veiklos vadovais ir laikui bėgant gali pereiti nuo patariamojo vaidmens iki pilno savarankiško taisymo.