NCSC įspėja, kad standartinio saugumo stebėjimo nebepakanka norint aptikti sudėtingus užpuolikus, ypač kai jie naudoja dirbtinį intelektą operacijų greičiui ir mastui didinti. Organizacijos turi pereiti prie proaktyvios grėsmių paieškos, orientuotos į ilgalaikį užpuolikų elgesį (TTP), o ne tik į kintančius kompromitacijos indikatorius.
Tyrėjai pristatė EndoUT – priešininkiško (adversarial) testavimo metodą, skirtą nustatyti universalius užklausų paleidiklius, kurie gali stipriai sumažinti LLM modelių naudingumą. Analizuodami, kaip modifikuotas kontekstas trikdo modelio pradinius atsakymus, užpuolikai gali sukurti fiksuotus simbolių junginius, kurie destabilizuoja modelio veikimą neturint prieigos prie specifinių užduočių ar vertinimo duomenų.
„Amazon Threat Intelligence“ užfiksavo autonominius agentus, naudojančius atvirojo kodo ARTEX sistemą plataus masto duomenų vagystėms ir tapatybės klastojimui naudojant „deepfake“. Šiose kampanijose išnaudotos neatnaujintos AI infrastruktūros spragos ir konfigūracijos klaidos, siekiant automatizuoti daugiapakopes atakas.
Nuo spalio pradžios sparčiai išaugo DI pagrįstų įsilaužimo (pentesting) ir orkestravimo sistemų skaičius, dabar aktyviai veikia tūkstančiai jų modifikacijų. Šie autonominiai įrankiai automatizuoja visą kibernetinės atakos grandinę, leisdami jiems greitai išnaudoti pavogtus kredencialus ir judėti per infrastruktūrą.
„Google“ įvertino savo „Agent Anomaly Detection“ funkciją naudodama penkis išorinius testus, įskaitant „AgentDojo“ ir „AgentHarm“. Įrankis aptiko 87 % kenksmingų instrukcijų, kurias agentai sėkmingai įvykdė, tačiau veikė prasčiau su užteršta ilgalaike atmintimi.
„Microsoft“ tyrėjai įrodė, kad DI kodavimo agentai gali būti pažeisti naudojant duomenų rinkinio apnuodijimą (dataset poisoning) arba modelio apnuodijimą (model poisoning). Šios atakos modeliuose sukuria „miegančius“ kenkėjiškus veiksmus, kurie suaktyvinami atliekant įprastas vartotojo užduotis ir slapta kviečia komandų vykdymo įrankius.
„Microsoft“ FORGE laboratorija panaudojo AI pagrįstą nuskaitymo sistemą MDASH „Linux“ branduolio posistemėms analizuoti. Ši iniciatyva davė 59 viešas ataskaitas ir 33 priskirtus CVE, atskleisdama, kad AI gali žymiai pagreitinti pažeidžiamumų paiešką, nors žmogaus atliekamas patvirtinimas išlieka pagrindiniu kliūtimi taisant klaidas.
„Microsoft Research“ atrado, kad dirbtinio intelekto modeliai gali būti pažeisti modifikavus mažiau nei 10 specifinių neuronų. Šios „miego“ užpakalinės durys (backdoors) leidžia užpuolikui suaktyvinti kenkėjiškas komandas, kai kontekste pasirodo tam tikros eilutės, net jei modelis sėkmingai praeina visus standartinius saugumo vertinimus.
Microsoft tyrėjai atrado "Lazarus" – techniką, leidžiančią perprogramuoti miegančius LLM neuronus ir įterpti kenkėjišką elgseną. Pakeitus mažiau nei 10 neuronų, užpuolikas gali inicijuoti neleistinų komandų vykdymą, nepaveikiant įprasto modelio veikimo ar vertinimo balų.
„Microsoft FORGE Lab“ pasitelkė dirbtinio intelekto pažeidžiamumų skaitytuvą „Hyenas“, kad rastų kritinių atminties saugumo problemų „Rust“ standartinėje bibliotekoje. Tyrimas atskleidžia, kad net saugus „Rust“ kodas gali sukelti neapibrėžtą elgseną, jei „unsafe“ abstrakcijos klaidingai vertina „panic“ (panikos) būsenas arba vartotojo pateiktas „trait“ implementacijas.
„Amazon“ pristatė daugiapakopę gynybos architektūrą, skirtą apsaugoti DI agentus, naudojančius ilgalaikę atmintį, nuo „atminties užnuodijimo“ (netiesioginio užklausų įterpimo). Sprendimas naudoja „Lambda“ pagrindu veikiantį „AgentCore Gateway“ pertvėrimą, kuris tikrina įrašus pagal semantinį nuokrypį, „regex“ šablonus, vardų sričių ribas ir dažnio apribojimus.
„IBM“ pristatė „Praxis Policy Engine“ (PPE) – atviro kodo įrankį, dabar esantį „CNCF Sandbox“, skirtą saugumo ir prieigos politikai užtikrinti DI sraute. Jis veikia kaip etaloninis stebėtojas, reguliuojantis užklausas, modelių iškvietimus ir agentų sąveiką naudojant bendrą duomenų formatą.
OpenSSF pristatė naują vadovą, kaip naudoti dirbtinį intelektą pažeidžiamumų paieškai ir šalinimui, bei paskelbė apie gruodžio mėn. startuosiantį „Secure AI Associate“ (SAIA) sertifikavimą. Šios iniciatyvos skirtos spręsti saugumo spragas, kylančias dėl spartaus AI integravimo į programinės įrangos kūrimo ciklą.
Tyrėjai pristatė „RL-ATTACK“ – naują sistemą, kuri naudoja sutvirtintą mokymąsi (reinforcement learning) generuoti priešiškas atakas prieš kalbų modelius be prieigos prie jų vidinių parametrų. Besimokydamas iš modelio reakcijų, šis metodas pasiekia didelį efektyvumą su mažai užklausų ir geba apeiti apsaugos filtrus.
Grėsmės veikėjas Storm-3358 vis dažniau naudoja agentinį AI karkasą ARTEX atakoms prieš finansų organizacijas vykdyti. Šis įrankis leidžia automatizuoti pažeidžiamumų paiešką, prisijungimo duomenų vagystes ir judėjimą tinkle dideliu greičiu, pasitelkiant standartinius įrankius, tokius kaip Nmap ar curl.
„Microsoft“ pristatė naujas saugumo funkcijas, skirtas AI agentų rizikai valdyti, įskaitant dinamines teises (Dynamic Permissions) užduočių apimčiai riboti bei „Microsoft Execution Containers“ (MXC) operacinės sistemos lygio izoliacijai. Taip pat „Microsoft Defender“ dabar gali aptikti vietinius AI agentus bei jų MCP konfigūracijas „Windows“ ir „macOS“ sistemose.
Cloudflare pristatė naują „Personal Assistants“ kategoriją savo saugumo analitikos įrankiuose, kuri leidžia svetainių savininkams stebėti ir valdyti AI agentų generuojamą automatizuotą srautą. Dabar įmonės gali nustatyti individualias prieigos politikas kiekvienam agentui, taip apsaugodamos reklamos pajamas ar jautrias svetainės zonas, neblokuojant teisėtų užklausų.
„Collinear AI“ pristatė „CWE-bench v2“ – vertinimo rinkinį, apimantį 100 užduočių ir 91 dažną pažeidžiamumo tipą. Šis įrankis leidžia kūrėjams programiškai įvertinti, kaip efektyviai jūsų DI agentai randa ir taiso saugumo spragas atvirojo kodo saugyklose.
„Cloudflare“ pristatė „Zero Wire“ – viešą informacinį kanalą „Cloudflare Radar“ platformoje, skirtą kritinių saugumo spragų analizei. Šis įrankis pateikia glaustas, suprantamas instrukcijas apie svarbias interneto grėsmes, padėdamas inžinieriams ir saugumo komandoms greičiau imtis veiksmų.
Naujausi tyrimai rodo, kad dabartiniai saugumo stebėsenos įrankiai dažnai klysta, painiodami injekcijos poveikį su agento realiu ketinimu atlikti nesaugų veiksmą. Autorius siūlo dvipusio stratifikavimo vertinimo metodą, kuris atskiria poveikį nuo elgsenos, taip žymiai pagerinant gebėjimą prognozuoti nesaugius įrankių iškvietimus iki dviejų žingsnių į priekį.
„Microsoft“ duomenimis, DI agentų skaičius „M365“ ekosistemoje per metus išaugo 15 kartų, todėl CISO privalo diegti naujus saugumo pagrindus. Dėmesys krypsta į griežtą tapatybės kontrolę ir detalią stebėseną, siekiant išvengti rizikų, kylančių dėl nekontroliuojamo DI savarankiškumo.
„Google Project Zero“ išanalizavo, kaip LLM pagrįstos sistemos (BigSleep) lyginasi su tradiciniais generatyviniais „fuzz“ įrankiais (Fuzzilli) ieškant V8 JavaScript variklio spragų. Per šešis mėnesius abu metodai savarankiškai aptiko unikalių klaidų, o jų sutapimas vertinamas tarp 25–60 proc.