„Google“ išbandė agentų anomalijų aptikimo sistemą su nepriklausomais saugumo testais
Trumpai: „Google“ įvertino savo „Agent Anomaly Detection“ funkciją naudodama penkis išorinius testus, įskaitant „AgentDojo“ ir „AgentHarm“. Įrankis aptiko 87 % kenksmingų instrukcijų, kurias agentai sėkmingai įvykdė, tačiau veikė prasčiau su užteršta ilgalaike atmintimi.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Google Developers“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Aptikta 87 % sėkmingai įvykdytų kenksmingų instrukcijų tirtuose testuose.
- 2Nustatyti trūkumai aptinkant užterštą ilgalaikę atmintį (sugauti 4 iš 18 atvejų).
- 3Klaidingų pavojaus signalų dažnis svyravo nuo 2 % iki 16 %, priklausomai nuo įrankių sudėtingumo.
- 4Veikimas patvirtintas 11 skirtingų imituotų aplikacijų aplinkų.
Kodėl tai svarbu?
Jei jūsų įmonė kuria autonominius agentus, dirbančius su jautriais duomenimis ar finansinėmis operacijomis, apsauga nuo agento tikslų manipuliacijos yra būtina. Rezultatai rodo, kad nors asinchroninė anomalijų aptikimo sistema yra naudinga peržiūrai po vykdymo, ji turi būti derinama su prevencinėmis priemonėmis, tokiomis kaip semantinis valdymas ir žmogaus patvirtinimas kritiniams veiksmams.
Ką tai reiškia AI agentams ir kontaktų centrams?
Jei jūsų komanda kuria agentų procesus, apsvarstykite galimybę derinti šį anomalijų aptikimą su „Model Armor“ ar panašiais filtrais. Testavimo metu svarbiausia nustatyti klaidingų pavojaus signalų dažnį, atsižvelgiant į jūsų agentų naudojamus įrankius.
🧪 Verta testuoti
Testuoti rekomenduojama siekiant įvertinti saugumo sistemos efektyvumą su jūsų specifiniais agentais ir suderinti balansą tarp jautrumo bei klaidingų pranešimų skaičiaus.
Šaltiniai
- Google DevelopersOficialusPirminis šaltinisOriginalus straipsnis →„How Agent Anomaly Detection scores on benchmarks we didn't write“2026-11-12 02:00
- Šaltinio publikavimo data
- 2026-11-12 02:00
- Mūsų sistema rado
- 2026-11-12 21:43
- Santrauka sugeneruota
- 2026-11-12 21:43
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas