Pereiti prie turinio
2026 m. lapkričio 20 d., penktadienis
Tenesys AI News
Prenumerata

AI tyrimai

Moksliniai darbai, benchmarkai, architektūros, reasoning ir mokymo metodai.

#Prompt Injection — 2 straipsniai ✕

Tyrimai· Svarbu

Nauji tyrimai: AI agentas nenusprendžia paklusti prompt injection iškart — sprendimas formuojasi samprotavimo metu

Naujas tyrimas kvestionuoja įsitikinimą, kad AI agento likimas prieš prompt injection ataką nulemiamas tą akimirką, kai jis perskaito kenkėjišką tekstą. Tyrėjai sukūrė šakojamų pakartojimų (branching rollouts) metodą AgentDojo testų rinkiniuose: jie pakartojo agento eigą iki momento, kai jis aptinka įterptą instrukciją, tada leido likusiai epizodo daliai vystytis daugybe skirtingų būdų, kad išmatuotų, kiek galutinio rezultato jau buvo nulemta, o kiek – dar atvira. Qwen3 agentui be išplėstinio samprotavimo ("thinking") 91 proc. rezultato buvo jau nulemta tą akimirką; įjungus samprotavimą, šis skaičius sumažėjo iki 62 proc., o tai rodo, kad paklusimo sprendimas dažnai tęsiasi dar ilgai po pirmo kontakto su ataka. Samprotavimo įjungimas taip pat sumažino sėkmingų atakų prieš Qwen3 dažnį, tačiau padidino jį dviems kitiems testuotiems modeliams, o bandymų rezultatai samprotaujantiems agentams pasikeisdavo pakartojus testą iki 35 proc. atvejų.

arXiv cs.CL

„Google Research“ paskelbė ataskaitą apie privatumo ir saugumo iššūkius autonomiškiems AI agentams

„Google Research“ paskelbė ataskaitą iš savo Contextual Agent Privacy and Security (CAPS) seminaro, kurią bendrai parengė daugiau nei 50 mokslininkų ir pramonės atstovų. Ataskaitoje teigiama, kad AI agentai turi gebėti suprasti kontekstines socialines normas, o ne tik statiškus leidimus, kad tinkamai elgtųsi tvarkydami asmens duomenis ir atlikdami veiksmus vartotojo vardu. Siūlomas daugiasluoksnis požiūris, apimantis sistemos lygmens „sandboxing“, modelio lygmens samprotavimą, vartotojui orientuotus valdiklius, kelių agentų apsaugos priemones ir ekosistemos valdymą, remiantis Kontekstinio vientisumo (Contextual Integrity) teorija.

Google Research