Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.
AI agentai dažnai klaidingai supranta senus kodo komentarus, tokius kaip TODO ar FIXME, laikydami juos dabartinėmis instrukcijomis. Tyrimai rodo, kad 6 % programavimo sesijų agentai imasi tirti nereikšmingus, uždarytus ar pasenusius klaidas, o tai didina išlaidas ir apimties didėjimą (scope creep).
Tyrėjai nustatė, kad LLM modeliai yra linkę pateikti skubotus, dažnai neteisingus atsakymus dviprasmiškose situacijose, užuot uždavę patikslinamuosius klausimus. Jie pristatė BACE (Belief-Aware Critic with Epistemic tracking) – lengvą metodą, veikiantį su užrakintu kalbos modeliu, padedantį strategiškai nuspręsti, kada prašyti paaiškinimo.
Tyrėjai pristatė SLATE – etaloninį testą, skirtą įvertinti ilgalaikį, didelio masto API pasirinkimą įmonių programinės įrangos aplinkose. Skirtingai nei dabartiniai testai, jis priverčia modelius naviguoti tarp maždaug 1000 įrankių, kad atliktų sudėtingas užduotis.
„Google“ pristatė „Physical-Engineering's Last Exam“ (PLE) – naują vertinimo sistemą, skirtą tikrinti DI agentų gebėjimus mechaninės, elektros, civilinės ir struktūrinės inžinerijos srityse. Skirtingai nei standartiniuose testuose, PLE reikalauja, kad agentai apdorotų didelius projekto aplankus, įskaitant CAD brėžinius ir statybos normas, ir pateiktų saugius, reikalavimus atitinkančius sprendimus.
„Apple“ tyrėjai pristatė naują mobiliųjų UI agentų mokymo infrastruktūrą, kuri atskiria navigacijos logiką nuo vizualinio atpažinimo. Naudojant žingsninį atlygį iš LLM vertintojo ir naują GiGPPO vertinimo metodą, šie agentai pasižymi didesniu patikimumu nei modeliai, apmokyti tik stacionariais duomenimis.
Naujausi tyrimai rodo, kad kalbos modeliai nesugeba prisitaikyti prie besikeičiančių vartotojo preferencijų ir dažnai tiesiog aklai remiasi pasenusiais duomenimis. Nors modeliai geba atpažinti tinkamą strategiją atrankos testuose, laisvos formos generavimo metu jų tikslumas krenta 35–46%.
Tyrėjai pristatė „Recursive Semantic Divergence“ (RSD) – neprižiūrimą metriką, kuri matuoja ir baudžia už nenuoseklumą LLM agentų trajektorijose. Naudojant RSD kaip atlygio signalą tiksliojo derinimo (fine-tuning) metu, modeliai demonstruoja daug stabilesnį elgesį ir didesnius sėkmės rodiklius atliekant įrankių naudojimo užduotis.
Naujas tyrimas kvestionuoja įsitikinimą, kad AI agento likimas prieš prompt injection ataką nulemiamas tą akimirką, kai jis perskaito kenkėjišką tekstą. Tyrėjai sukūrė šakojamų pakartojimų (branching rollouts) metodą AgentDojo testų rinkiniuose: jie pakartojo agento eigą iki momento, kai jis aptinka įterptą instrukciją, tada leido likusiai epizodo daliai vystytis daugybe skirtingų būdų, kad išmatuotų, kiek galutinio rezultato jau buvo nulemta, o kiek – dar atvira. Qwen3 agentui be išplėstinio samprotavimo ("thinking") 91 proc. rezultato buvo jau nulemta tą akimirką; įjungus samprotavimą, šis skaičius sumažėjo iki 62 proc., o tai rodo, kad paklusimo sprendimas dažnai tęsiasi dar ilgai po pirmo kontakto su ataka. Samprotavimo įjungimas taip pat sumažino sėkmingų atakų prieš Qwen3 dažnį, tačiau padidino jį dviems kitiems testuotiems modeliams, o bandymų rezultatai samprotaujantiems agentams pasikeisdavo pakartojus testą iki 35 proc. atvejų.
„Google Research“ pristatė tyrimus, kaip AI agentus „įžeminti“ fizinėje laboratorinėje aplinkoje naudojant skaitmeninio dvynio sistemą VERID, leidžiančią agentams saugiai planuoti ir vykdyti skysčių dozavimo robotų protokolus. Kartu su uždaro ciklo molekuliniu dizainu aptamerams ir baltymams, agentai mokėsi iš laboratorinių rezultatų, kelis ciklus gerindami sėkmės rodiklius ir galiausiai aptikdami vienaženklio nanomolinio afiniteto baltymų surišiklius vėžio taikiniui.
IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.
GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.