„Microsoft“ FORGE laboratorija panaudojo AI pagrįstą nuskaitymo sistemą MDASH „Linux“ branduolio posistemėms analizuoti. Ši iniciatyva davė 59 viešas ataskaitas ir 33 priskirtus CVE, atskleisdama, kad AI gali žymiai pagreitinti pažeidžiamumų paiešką, nors žmogaus atliekamas patvirtinimas išlieka pagrindiniu kliūtimi taisant klaidas.
„Microsoft Research“ atrado, kad dirbtinio intelekto modeliai gali būti pažeisti modifikavus mažiau nei 10 specifinių neuronų. Šios „miego“ užpakalinės durys (backdoors) leidžia užpuolikui suaktyvinti kenkėjiškas komandas, kai kontekste pasirodo tam tikros eilutės, net jei modelis sėkmingai praeina visus standartinius saugumo vertinimus.
Microsoft tyrėjai atrado "Lazarus" – techniką, leidžiančią perprogramuoti miegančius LLM neuronus ir įterpti kenkėjišką elgseną. Pakeitus mažiau nei 10 neuronų, užpuolikas gali inicijuoti neleistinų komandų vykdymą, nepaveikiant įprasto modelio veikimo ar vertinimo balų.
„Microsoft FORGE Lab“ pasitelkė dirbtinio intelekto pažeidžiamumų skaitytuvą „Hyenas“, kad rastų kritinių atminties saugumo problemų „Rust“ standartinėje bibliotekoje. Tyrimas atskleidžia, kad net saugus „Rust“ kodas gali sukelti neapibrėžtą elgseną, jei „unsafe“ abstrakcijos klaidingai vertina „panic“ (panikos) būsenas arba vartotojo pateiktas „trait“ implementacijas.
„Amazon“ pristatė daugiapakopę gynybos architektūrą, skirtą apsaugoti DI agentus, naudojančius ilgalaikę atmintį, nuo „atminties užnuodijimo“ (netiesioginio užklausų įterpimo). Sprendimas naudoja „Lambda“ pagrindu veikiantį „AgentCore Gateway“ pertvėrimą, kuris tikrina įrašus pagal semantinį nuokrypį, „regex“ šablonus, vardų sričių ribas ir dažnio apribojimus.
„IBM“ pristatė „Praxis Policy Engine“ (PPE) – atviro kodo įrankį, dabar esantį „CNCF Sandbox“, skirtą saugumo ir prieigos politikai užtikrinti DI sraute. Jis veikia kaip etaloninis stebėtojas, reguliuojantis užklausas, modelių iškvietimus ir agentų sąveiką naudojant bendrą duomenų formatą.
OpenSSF pristatė naują vadovą, kaip naudoti dirbtinį intelektą pažeidžiamumų paieškai ir šalinimui, bei paskelbė apie gruodžio mėn. startuosiantį „Secure AI Associate“ (SAIA) sertifikavimą. Šios iniciatyvos skirtos spręsti saugumo spragas, kylančias dėl spartaus AI integravimo į programinės įrangos kūrimo ciklą.
Tyrėjai pristatė „RL-ATTACK“ – naują sistemą, kuri naudoja sutvirtintą mokymąsi (reinforcement learning) generuoti priešiškas atakas prieš kalbų modelius be prieigos prie jų vidinių parametrų. Besimokydamas iš modelio reakcijų, šis metodas pasiekia didelį efektyvumą su mažai užklausų ir geba apeiti apsaugos filtrus.
Grėsmės veikėjas Storm-3358 vis dažniau naudoja agentinį AI karkasą ARTEX atakoms prieš finansų organizacijas vykdyti. Šis įrankis leidžia automatizuoti pažeidžiamumų paiešką, prisijungimo duomenų vagystes ir judėjimą tinkle dideliu greičiu, pasitelkiant standartinius įrankius, tokius kaip Nmap ar curl.
„Microsoft“ pristatė naujas saugumo funkcijas, skirtas AI agentų rizikai valdyti, įskaitant dinamines teises (Dynamic Permissions) užduočių apimčiai riboti bei „Microsoft Execution Containers“ (MXC) operacinės sistemos lygio izoliacijai. Taip pat „Microsoft Defender“ dabar gali aptikti vietinius AI agentus bei jų MCP konfigūracijas „Windows“ ir „macOS“ sistemose.