Pereiti prie turinio
2026 m. lapkričio 22 d., sekmadienis
Tenesys AI News
Prenumerata

AI tyrimai

Moksliniai darbai, benchmarkai, architektūros, reasoning ir mokymo metodai.

“Agentai” — 12 straipsnių ✕

Tyrimai· Svarbu· 🧪 Verta testuoti

MCQ testų formatai dirbtinai slepia LLM saugumo spragas

Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

AI agentų blaškymosi mažinimas didelėse kodo bazėse

AI agentai dažnai klaidingai supranta senus kodo komentarus, tokius kaip TODO ar FIXME, laikydami juos dabartinėmis instrukcijomis. Tyrimai rodo, kad 6 % programavimo sesijų agentai imasi tirti nereikšmingus, uždarytus ar pasenusius klaidas, o tai didina išlaidas ir apimties didėjimą (scope creep).

Google Developers
Tyrimai· Svarbu· 🧪 Verta testuoti

Naujas BACE metodas sumažina skubotus dirbtinio intelekto atsakymus dviprasmiškuose dialoguose

Tyrėjai nustatė, kad LLM modeliai yra linkę pateikti skubotus, dažnai neteisingus atsakymus dviprasmiškose situacijose, užuot uždavę patikslinamuosius klausimus. Jie pristatė BACE (Belief-Aware Critic with Epistemic tracking) – lengvą metodą, veikiantį su užrakintu kalbos modeliu, padedantį strategiškai nuspręsti, kada prašyti paaiškinimo.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

„Google“ pristatė inžinerinių dirbtinio intelekto agentų vertinimo standartą

„Google“ pristatė „Physical-Engineering's Last Exam“ (PLE) – naują vertinimo sistemą, skirtą tikrinti DI agentų gebėjimus mechaninės, elektros, civilinės ir struktūrinės inžinerijos srityse. Skirtingai nei standartiniuose testuose, PLE reikalauja, kad agentai apdorotų didelius projekto aplankus, įskaitant CAD brėžinius ir statybos normas, ir pateiktų saugius, reikalavimus atitinkančius sprendimus.

Google Cloud AI
Tyrimai· Svarbu· 🧪 Verta testuoti

Efektyvus internetinis mokymasis stiprinant mobiliųjų įrenginių agentų navigaciją

„Apple“ tyrėjai pristatė naują mobiliųjų UI agentų mokymo infrastruktūrą, kuri atskiria navigacijos logiką nuo vizualinio atpažinimo. Naudojant žingsninį atlygį iš LLM vertintojo ir naują GiGPPO vertinimo metodą, šie agentai pasižymi didesniu patikimumu nei modeliai, apmokyti tik stacionariais duomenimis.

Apple Machine Learning
Tyrimai· Svarbu· 🧪 Verta testuoti

Dabartiniai LLM sunkiai prisitaiko prie kintančių vartotojo preferencijų

Naujausi tyrimai rodo, kad kalbos modeliai nesugeba prisitaikyti prie besikeičiančių vartotojo preferencijų ir dažnai tiesiog aklai remiasi pasenusiais duomenimis. Nors modeliai geba atpažinti tinkamą strategiją atrankos testuose, laisvos formos generavimo metu jų tikslumas krenta 35–46%.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Nauja metrika gerina LLM agentų patikimumą per nuoseklumo mokymą

Tyrėjai pristatė „Recursive Semantic Divergence“ (RSD) – neprižiūrimą metriką, kuri matuoja ir baudžia už nenuoseklumą LLM agentų trajektorijose. Naudojant RSD kaip atlygio signalą tiksliojo derinimo (fine-tuning) metu, modeliai demonstruoja daug stabilesnį elgesį ir didesnius sėkmės rodiklius atliekant įrankių naudojimo užduotis.

arXiv cs.CL
Tyrimai· Svarbu

Nauji tyrimai: AI agentas nenusprendžia paklusti prompt injection iškart — sprendimas formuojasi samprotavimo metu

Naujas tyrimas kvestionuoja įsitikinimą, kad AI agento likimas prieš prompt injection ataką nulemiamas tą akimirką, kai jis perskaito kenkėjišką tekstą. Tyrėjai sukūrė šakojamų pakartojimų (branching rollouts) metodą AgentDojo testų rinkiniuose: jie pakartojo agento eigą iki momento, kai jis aptinka įterptą instrukciją, tada leido likusiai epizodo daliai vystytis daugybe skirtingų būdų, kad išmatuotų, kiek galutinio rezultato jau buvo nulemta, o kiek – dar atvira. Qwen3 agentui be išplėstinio samprotavimo ("thinking") 91 proc. rezultato buvo jau nulemta tą akimirką; įjungus samprotavimą, šis skaičius sumažėjo iki 62 proc., o tai rodo, kad paklusimo sprendimas dažnai tęsiasi dar ilgai po pirmo kontakto su ataka. Samprotavimo įjungimas taip pat sumažino sėkmingų atakų prieš Qwen3 dažnį, tačiau padidino jį dviems kitiems testuotiems modeliams, o bandymų rezultatai samprotaujantiems agentams pasikeisdavo pakartojus testą iki 35 proc. atvejų.

arXiv cs.CL
Tyrimai· Svarbu

„Google Research“ kuria AI agentus, kurie patys atlieka laboratorinius eksperimentus

„Google Research“ pristatė tyrimus, kaip AI agentus „įžeminti“ fizinėje laboratorinėje aplinkoje naudojant skaitmeninio dvynio sistemą VERID, leidžiančią agentams saugiai planuoti ir vykdyti skysčių dozavimo robotų protokolus. Kartu su uždaro ciklo molekuliniu dizainu aptamerams ir baltymams, agentai mokėsi iš laboratorinių rezultatų, kelis ciklus gerindami sėkmės rodiklius ir galiausiai aptikdami vienaženklio nanomolinio afiniteto baltymų surišiklius vėžio taikiniui.

Google Research
Tyrimai· Svarbu

IBM parodė, kad atvirų modelių AI agentai gali sumažinti lustų projektavimo paieškos kaštus daugiau nei 11 kartų

IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.

IBM Research
Tyrimai· Svarbu· 🧪 Verta testuoti

GitHub atveria ReviewBench — bendrą standartą AI kodo peržiūros agentų vertinimui

GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.

GitHub