Pereiti prie turinio
2026 m. lapkričio 20 d., penktadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

#Prompt Injection — 7 straipsniai ✕

Modeliai· Svarbu· 🧪 Verta testuoti

„IBM“ pristatė LLMON pagrįstus „Granite“ modelius, skirtus apsaugai nuo „prompt“ injekcijų

„IBM“ pristatė LLMON (LLM Object Notation) – XML tipo žymėjimo kalbą, kuri naudoja specialius rezervuotus žetonus aiškiai atskirti instrukcijas, duomenis ir apribojimus. Išleisti du eksperimentiniai modeliai, „Granite 4.1 3B“ ir „8B LLMON-preview“, kurie demonstruoja beveik nulinį netiesioginių „prompt“ injekcijų sėkmės rodiklį.

Hugging Face
Kibernetinis saugumas· Svarbu· 🧪 Verta testuoti

Apsauga nuo atminties užnuodijimo naudojant Amazon Bedrock AgentCore

„Amazon“ pristatė daugiapakopę gynybos architektūrą, skirtą apsaugoti DI agentus, naudojančius ilgalaikę atmintį, nuo „atminties užnuodijimo“ (netiesioginio užklausų įterpimo). Sprendimas naudoja „Lambda“ pagrindu veikiantį „AgentCore Gateway“ pertvėrimą, kuris tikrina įrašus pagal semantinį nuokrypį, „regex“ šablonus, vardų sričių ribas ir dažnio apribojimus.

AWS Security
Kibernetinis saugumas· Svarbu· 🧪 Verta testuoti

Patobulinta saugumo stebėsena įrankius naudojantiems AI agentams

Naujausi tyrimai rodo, kad dabartiniai saugumo stebėsenos įrankiai dažnai klysta, painiodami injekcijos poveikį su agento realiu ketinimu atlikti nesaugų veiksmą. Autorius siūlo dvipusio stratifikavimo vertinimo metodą, kuris atskiria poveikį nuo elgsenos, taip žymiai pagerinant gebėjimą prognozuoti nesaugius įrankių iškvietimus iki dviejų žingsnių į priekį.

arXiv cs.CL
Tyrimai· Svarbu

Nauji tyrimai: AI agentas nenusprendžia paklusti prompt injection iškart — sprendimas formuojasi samprotavimo metu

Naujas tyrimas kvestionuoja įsitikinimą, kad AI agento likimas prieš prompt injection ataką nulemiamas tą akimirką, kai jis perskaito kenkėjišką tekstą. Tyrėjai sukūrė šakojamų pakartojimų (branching rollouts) metodą AgentDojo testų rinkiniuose: jie pakartojo agento eigą iki momento, kai jis aptinka įterptą instrukciją, tada leido likusiai epizodo daliai vystytis daugybe skirtingų būdų, kad išmatuotų, kiek galutinio rezultato jau buvo nulemta, o kiek – dar atvira. Qwen3 agentui be išplėstinio samprotavimo ("thinking") 91 proc. rezultato buvo jau nulemta tą akimirką; įjungus samprotavimą, šis skaičius sumažėjo iki 62 proc., o tai rodo, kad paklusimo sprendimas dažnai tęsiasi dar ilgai po pirmo kontakto su ataka. Samprotavimo įjungimas taip pat sumažino sėkmingų atakų prieš Qwen3 dažnį, tačiau padidino jį dviems kitiems testuotiems modeliams, o bandymų rezultatai samprotaujantiems agentams pasikeisdavo pakartojus testą iki 35 proc. atvejų.

arXiv cs.CL
Kibernetinis saugumas· Svarbu· 🧪 Verta testuoti

Microsoft dirbtinio intelekto agentus vertina kaip vidinę grėsmę, diegia naujus apribojimo mechanizmus

Microsoft paskelbė apie „Project Perception“ saugumo sistemos plėtrą, skirtą autonominių DI agentų keliamoms rizikoms spręsti – agentai traktuojami kaip naujas „vidinės grėsmės“ tipas, kuriam reikia atskiros tapatybės, leidimų ir rizikos valdymo. Naujovės apima „Dynamic Permissions“ (mažiausių privilegijų, užduočiai pritaikyta ir laiko ribojama prieiga), „Dynamic Agent Risk“ (nuolatinis rizikos vertinimas pagal elgsenos nuokrypius ir kontekstą) ir „Dynamic Conditional Access“ (laipsniškas atsakas – nuo prieigos siaurinimo iki pilno vykdymo izoliavimo). Microsoft taip pat plečia atradimo ir tapatybės palaikymą (Microsoft Entra Agent ID) iki 60 vietinių agentų tipų, įskaitant Claude Code, OpenAI Codex ir GitHub Copilot, bei pristato „Guardian Agents“, kurie stebi ir reaguoja į rizikingą agentų elgesį mašinos greičiu.

Microsoft Security

„Cisco Talos“ aprašė kenkėjišką kodą, bandantį apgauti AI saugumo analitikus per prompt injection

„Cisco Talos“ CAIRN tyrime išskirta nauja kenkėjiškų programų kategorija „A3: AI analizės vengimas“ — tai kodas, į kurį įterptas natūralios kalbos tekstas, skirtas paveikti kalbos modelius, naudojamus automatiniam kenkėjiškų failų vertinimui. Technika sekta keturiose šeimose (FRUITSHELL, PLOTSAFE, HOLLOWCLAD, MANTLEMAZE) ir 84 pavyzdžiuose nuo 2025 m. sausio iki 2026 m. liepos — nuo paprasto nukopijuoto komentaro iki šablonizuoto, kelioms AI modelių šeimoms taikyto „template spraying“ ir melagingų grasinimų. Kontroliuojami testai su penkiais vietiniais LLM parodė, kad paprasčiausia tiesioginė instrukcija pakeitė modelio vertinimą į „nekenksmingas“ maždaug 35 % bandymų, o sudėtingesni triukai beveik neveikė arba net padidino įtarimą.

Cisco Talos