„Microsoft“ pristatė „Perception“ – saugumo platformą, skirtą suvaldyti rizikas, kylančias dėl dirbtinio intelekto valdomų automatizuotų kibernetinių atakų. Platforma koordinuoja „raudonosios“, „mėlynosios“ ir „žaliosios“ komandų agentus per automatizuotus veiksmų planus, kad aptiktų, ištirtų ir šalintų spragas mašininiu greičiu. Taip pat pristatytos naujos funkcijos, skirtos apsaugoti „agentinius insaiderius“ – autonomiškai veikiančius DI agentus jūsų tinkle.
„Microsoft“ saugumo tyrėjai ištyrė scenarijų, kuriame užpuolikai naudoja sukčiavimą (phishing), siekdami perimti DI kodo įrankius naudojant „OAuth“ įrenginio kodo srautus. Apgaulės būdu privertus vartotojus patvirtinti autentiškai atrodančią užklausą, užpuolikai gali gauti prieigą prie privačių saugyklų, sesijų istorijos ir valdyti aktyvias komandinės eilutės agentų sesijas.
NCSC įspėja, kad standartinio saugumo stebėjimo nebepakanka norint aptikti sudėtingus užpuolikus, ypač kai jie naudoja dirbtinį intelektą operacijų greičiui ir mastui didinti. Organizacijos turi pereiti prie proaktyvios grėsmių paieškos, orientuotos į ilgalaikį užpuolikų elgesį (TTP), o ne tik į kintančius kompromitacijos indikatorius.
Tyrėjai pristatė EndoUT – priešininkiško (adversarial) testavimo metodą, skirtą nustatyti universalius užklausų paleidiklius, kurie gali stipriai sumažinti LLM modelių naudingumą. Analizuodami, kaip modifikuotas kontekstas trikdo modelio pradinius atsakymus, užpuolikai gali sukurti fiksuotus simbolių junginius, kurie destabilizuoja modelio veikimą neturint prieigos prie specifinių užduočių ar vertinimo duomenų.
„Amazon Threat Intelligence“ užfiksavo autonominius agentus, naudojančius atvirojo kodo ARTEX sistemą plataus masto duomenų vagystėms ir tapatybės klastojimui naudojant „deepfake“. Šiose kampanijose išnaudotos neatnaujintos AI infrastruktūros spragos ir konfigūracijos klaidos, siekiant automatizuoti daugiapakopes atakas.
Nuo spalio pradžios sparčiai išaugo DI pagrįstų įsilaužimo (pentesting) ir orkestravimo sistemų skaičius, dabar aktyviai veikia tūkstančiai jų modifikacijų. Šie autonominiai įrankiai automatizuoja visą kibernetinės atakos grandinę, leisdami jiems greitai išnaudoti pavogtus kredencialus ir judėti per infrastruktūrą.
„Google“ įvertino savo „Agent Anomaly Detection“ funkciją naudodama penkis išorinius testus, įskaitant „AgentDojo“ ir „AgentHarm“. Įrankis aptiko 87 % kenksmingų instrukcijų, kurias agentai sėkmingai įvykdė, tačiau veikė prasčiau su užteršta ilgalaike atmintimi.
„Microsoft“ tyrėjai įrodė, kad DI kodavimo agentai gali būti pažeisti naudojant duomenų rinkinio apnuodijimą (dataset poisoning) arba modelio apnuodijimą (model poisoning). Šios atakos modeliuose sukuria „miegančius“ kenkėjiškus veiksmus, kurie suaktyvinami atliekant įprastas vartotojo užduotis ir slapta kviečia komandų vykdymo įrankius.
Užpuolikai naudoja atviro kodo įrankį GSocket, kad išlaikytų nuolatinę, užšifruotą komandų ir valdymo (C2) prieigą prie pažeistų Linux serverių. Kadangi naudojamas viešas tarpinis tinklas, o ne paties užpuoliko infrastruktūra, šis metodas apeina tradicinį IP blokavimą ir veikia net ištaisius pirmines saugumo spragas.
„Microsoft“ FORGE laboratorija panaudojo AI pagrįstą nuskaitymo sistemą MDASH „Linux“ branduolio posistemėms analizuoti. Ši iniciatyva davė 59 viešas ataskaitas ir 33 priskirtus CVE, atskleisdama, kad AI gali žymiai pagreitinti pažeidžiamumų paiešką, nors žmogaus atliekamas patvirtinimas išlieka pagrindiniu kliūtimi taisant klaidas.
„Microsoft Research“ atrado, kad dirbtinio intelekto modeliai gali būti pažeisti modifikavus mažiau nei 10 specifinių neuronų. Šios „miego“ užpakalinės durys (backdoors) leidžia užpuolikui suaktyvinti kenkėjiškas komandas, kai kontekste pasirodo tam tikros eilutės, net jei modelis sėkmingai praeina visus standartinius saugumo vertinimus.
Microsoft tyrėjai atrado "Lazarus" – techniką, leidžiančią perprogramuoti miegančius LLM neuronus ir įterpti kenkėjišką elgseną. Pakeitus mažiau nei 10 neuronų, užpuolikas gali inicijuoti neleistinų komandų vykdymą, nepaveikiant įprasto modelio veikimo ar vertinimo balų.
„Amazon“ pristatė daugiapakopę gynybos architektūrą, skirtą apsaugoti DI agentus, naudojančius ilgalaikę atmintį, nuo „atminties užnuodijimo“ (netiesioginio užklausų įterpimo). Sprendimas naudoja „Lambda“ pagrindu veikiantį „AgentCore Gateway“ pertvėrimą, kuris tikrina įrašus pagal semantinį nuokrypį, „regex“ šablonus, vardų sričių ribas ir dažnio apribojimus.
Nauja Linux Foundation ataskaita rodo, kad AI įrankiai skatina sparčiai didėjantį išorinių priklausomybių (dependencies) skaičių – tai pastebi 60 % organizacijų. Komandos nespėja tvarkytis su šia našta, nes 58 % jų teigia diegiančios kodą greičiau, nei spėja atlikti saugumo peržiūras.
„IBM“ pristatė „Praxis Policy Engine“ (PPE) – atviro kodo įrankį, dabar esantį „CNCF Sandbox“, skirtą saugumo ir prieigos politikai užtikrinti DI sraute. Jis veikia kaip etaloninis stebėtojas, reguliuojantis užklausas, modelių iškvietimus ir agentų sąveiką naudojant bendrą duomenų formatą.
OpenSSF pristatė naują vadovą, kaip naudoti dirbtinį intelektą pažeidžiamumų paieškai ir šalinimui, bei paskelbė apie gruodžio mėn. startuosiantį „Secure AI Associate“ (SAIA) sertifikavimą. Šios iniciatyvos skirtos spręsti saugumo spragas, kylančias dėl spartaus AI integravimo į programinės įrangos kūrimo ciklą.
Tyrėjai pristatė „RL-ATTACK“ – naują sistemą, kuri naudoja sutvirtintą mokymąsi (reinforcement learning) generuoti priešiškas atakas prieš kalbų modelius be prieigos prie jų vidinių parametrų. Besimokydamas iš modelio reakcijų, šis metodas pasiekia didelį efektyvumą su mažai užklausų ir geba apeiti apsaugos filtrus.
Piktavaliai vis dažniau naudoja agentinius DI sistemas, tokias kaip ARTEX, kad nuskaitytų viešas „GitHub“ saugyklas, ieškodami nutekintų prisijungimo duomenų ir iškart vykdytų atakas prieš debesijos paslaugas. Šie agentai savarankiškai analizuoja rezultatus, adaptuoja API užklausas po nesėkmių ir gali pereiti nuo žvalgybos prie duomenų exfiltracijos iš tokių paslaugų kaip „Azure Key Vault“ per kelias minutes.
„Microsoft“ pristatė naujas saugumo funkcijas, skirtas AI agentų rizikai valdyti, įskaitant dinamines teises (Dynamic Permissions) užduočių apimčiai riboti bei „Microsoft Execution Containers“ (MXC) operacinės sistemos lygio izoliacijai. Taip pat „Microsoft Defender“ dabar gali aptikti vietinius AI agentus bei jų MCP konfigūracijas „Windows“ ir „macOS“ sistemose.
„Cloudflare“ sprendžia problemas, kylančias dėl nuotoliniu būdu talpinamų AI agentų, kurie maskuoja vartotojų tapatybę ir sukuria atskaitomybės spragas svetainių valdytojams. Kadangi agentai veikia kaip tarpininkai tarp vartotojų ir svetainių, tradicinės saugumo priemonės, tokios kaip CAPTCHA ar įrenginių pirštų atspaudai, tampa vis mažiau veiksmingos.
Cloudflare pristatė naują „Personal Assistants“ kategoriją savo saugumo analitikos įrankiuose, kuri leidžia svetainių savininkams stebėti ir valdyti AI agentų generuojamą automatizuotą srautą. Dabar įmonės gali nustatyti individualias prieigos politikas kiekvienam agentui, taip apsaugodamos reklamos pajamas ar jautrias svetainės zonas, neblokuojant teisėtų užklausų.
„Collinear AI“ pristatė „CWE-bench v2“ – vertinimo rinkinį, apimantį 100 užduočių ir 91 dažną pažeidžiamumo tipą. Šis įrankis leidžia kūrėjams programiškai įvertinti, kaip efektyviai jūsų DI agentai randa ir taiso saugumo spragas atvirojo kodo saugyklose.
„Cloudflare“ pristatė „Zero Wire“ – viešą informacinį kanalą „Cloudflare Radar“ platformoje, skirtą kritinių saugumo spragų analizei. Šis įrankis pateikia glaustas, suprantamas instrukcijas apie svarbias interneto grėsmes, padėdamas inžinieriams ir saugumo komandoms greičiau imtis veiksmų.