NCSC ostrzega, że standardowe monitorowanie bezpieczeństwa przestaje wystarczać do wykrywania zaawansowanych ataków, szczególnie gdy przeciwnicy wykorzystują AI do zwiększania skali działań. Organizacje muszą przejść na proaktywne polowanie na zagrożenia, skupiając się na trwałym zachowaniu atakujących (TTP), a nie tylko na zmieniających się wskaźnikach kompromitacji.
Naukowcy zaprezentowali EndoUT, framework typu adversarial, który identyfikuje uniwersalne wyzwalacze promptów zdolne do znacznego obniżenia użyteczności modeli LLM. Poprzez analizę zakłóceń w preferencjach modelu dotyczących początków odpowiedzi, atakujący mogą tworzyć stałe ciągi znaków, które wymuszają spadek wydajności w różnych zadaniach bez konieczności posiadania etykiet czy informacji zwrotnej o zadaniu.
Amazon Threat Intelligence zaobserwował autonomiczne agenty korzystające z frameworka open-source ARTEX do prowadzenia zakrojonych na szeroką skalę kradzieży danych uwierzytelniających i oszustw tożsamości z wykorzystaniem deepfake. Kampanie te wykorzystywały niezałatane luki w infrastrukturze AI i błędy konfiguracyjne do automatyzacji wieloetapowych operacji ofensywnych.
Od początku października gwałtownie wzrosła liczba frameworków do testów penetracyjnych opartych na sztucznej inteligencji, z tysiącami aktywnych instancji. Te autonomiczne narzędzia automatyzują cały łańcuch ataku cybernetycznego, pozwalając na łańcuchowe wykorzystywanie poświadczeń i szybkie przemieszczanie się wewnątrz infrastruktury.
Google przetestowało funkcję wykrywania anomalii agentów (Agent Anomaly Detection) przy użyciu pięciu zewnętrznych benchmarków, w tym AgentDojo i AgentHarm. Narzędzie wykryło 87% szkodliwych instrukcji wykonanych przez agentów, wykazując jednak mniejszą skuteczność w przypadku zatrutej pamięci długotrwałej.
Badacze Microsoft wykazali, że agenci AI do kodowania mogą zostać skompromitowani poprzez tzw. zatruwanie zbiorów danych lub zatruwanie modeli. Ataki te osadzają w modelach ukryte, uśpione zachowania, które uruchamiają szkodliwe wywołania narzędzi podczas rutynowych zadań użytkownika.
Laboratorium FORGE firmy Microsoft wykorzystało system skanujący oparty na AI o nazwie kodowej MDASH do analizy podsystemów jądra Linux. Inicjatywa ta zaowocowała 59 publicznymi raportami i 33 przypisanymi numerami CVE, co pokazuje, że AI może znacznie przyspieszyć proces wykrywania podatności, choć weryfikacja przez człowieka pozostaje głównym wąskim gardłem w procesie naprawczym.
Microsoft Research odkrył, że modele AI mogą zostać skompromitowane poprzez modyfikację mniej niż 10 konkretnych neuronów. Te „uśpione” furtki (backdoors) pozwalają atakującemu wywołać złośliwe polecenia, gdy w kontekście pojawią się określone ciągi znaków, nawet jeśli model przechodzi wszystkie standardowe testy bezpieczeństwa.
Badacze Microsoft odkryli 'Lazarus', technikę umożliwiającą przeprogramowanie uśpionych neuronów w modelach LLM w celu wstrzyknięcia złośliwych zachowań. Modyfikując mniej niż 10 neuronów, atakujący może wywołać wykonanie nieautoryzowanych poleceń bez wpływu na standardowe działanie modelu lub wyniki ewaluacji.