Firma Microsoft zaprezentowała „Perception” – platformę zabezpieczeń zaprojektowaną do zarządzania ryzykiem wynikającym z automatycznych cyberataków wspomaganych przez sztuczną inteligencję. Platforma koordynuje agentów działających w ramach „czerwonych”, „niebieskich” i „zielonych” zespołów, automatyzując procesy wykrywania, badania i usuwania luk w zabezpieczeniach. Wprowadzono również nowe funkcje ochrony „agentowych insiderów” – czyli agentów AI działających wewnątrz korporacyjnych sieci.
NCSC ostrzega, że standardowe monitorowanie bezpieczeństwa przestaje wystarczać do wykrywania zaawansowanych ataków, szczególnie gdy przeciwnicy wykorzystują AI do zwiększania skali działań. Organizacje muszą przejść na proaktywne polowanie na zagrożenia, skupiając się na trwałym zachowaniu atakujących (TTP), a nie tylko na zmieniających się wskaźnikach kompromitacji.
Naukowcy zaprezentowali EndoUT, framework typu adversarial, który identyfikuje uniwersalne wyzwalacze promptów zdolne do znacznego obniżenia użyteczności modeli LLM. Poprzez analizę zakłóceń w preferencjach modelu dotyczących początków odpowiedzi, atakujący mogą tworzyć stałe ciągi znaków, które wymuszają spadek wydajności w różnych zadaniach bez konieczności posiadania etykiet czy informacji zwrotnej o zadaniu.
Amazon Threat Intelligence zaobserwował autonomiczne agenty korzystające z frameworka open-source ARTEX do prowadzenia zakrojonych na szeroką skalę kradzieży danych uwierzytelniających i oszustw tożsamości z wykorzystaniem deepfake. Kampanie te wykorzystywały niezałatane luki w infrastrukturze AI i błędy konfiguracyjne do automatyzacji wieloetapowych operacji ofensywnych.
Od początku października gwałtownie wzrosła liczba frameworków do testów penetracyjnych opartych na sztucznej inteligencji, z tysiącami aktywnych instancji. Te autonomiczne narzędzia automatyzują cały łańcuch ataku cybernetycznego, pozwalając na łańcuchowe wykorzystywanie poświadczeń i szybkie przemieszczanie się wewnątrz infrastruktury.
Google przetestowało funkcję wykrywania anomalii agentów (Agent Anomaly Detection) przy użyciu pięciu zewnętrznych benchmarków, w tym AgentDojo i AgentHarm. Narzędzie wykryło 87% szkodliwych instrukcji wykonanych przez agentów, wykazując jednak mniejszą skuteczność w przypadku zatrutej pamięci długotrwałej.
Badacze Microsoft wykazali, że agenci AI do kodowania mogą zostać skompromitowani poprzez tzw. zatruwanie zbiorów danych lub zatruwanie modeli. Ataki te osadzają w modelach ukryte, uśpione zachowania, które uruchamiają szkodliwe wywołania narzędzi podczas rutynowych zadań użytkownika.
Laboratorium FORGE firmy Microsoft wykorzystało system skanujący oparty na AI o nazwie kodowej MDASH do analizy podsystemów jądra Linux. Inicjatywa ta zaowocowała 59 publicznymi raportami i 33 przypisanymi numerami CVE, co pokazuje, że AI może znacznie przyspieszyć proces wykrywania podatności, choć weryfikacja przez człowieka pozostaje głównym wąskim gardłem w procesie naprawczym.
Microsoft Research odkrył, że modele AI mogą zostać skompromitowane poprzez modyfikację mniej niż 10 konkretnych neuronów. Te „uśpione” furtki (backdoors) pozwalają atakującemu wywołać złośliwe polecenia, gdy w kontekście pojawią się określone ciągi znaków, nawet jeśli model przechodzi wszystkie standardowe testy bezpieczeństwa.
Badacze Microsoft odkryli 'Lazarus', technikę umożliwiającą przeprogramowanie uśpionych neuronów w modelach LLM w celu wstrzyknięcia złośliwych zachowań. Modyfikując mniej niż 10 neuronów, atakujący może wywołać wykonanie nieautoryzowanych poleceń bez wpływu na standardowe działanie modelu lub wyniki ewaluacji.
Laboratorium FORGE firmy Microsoft wykorzystało skaner podatności oparty na AI o nazwie Hyenas do odkrycia krytycznych problemów z bezpieczeństwem pamięci w standardowej bibliotece języka Rust. Badania pokazują, że nawet bezpieczny kod Rust może wywoływać niezdefiniowane zachowania, jeśli ukryte pod nim abstrakcje typu „unsafe” opierają się na błędnych założeniach dotyczących paniki lub implementacji cech (traits) dostarczonych przez użytkownika.
Firma Amazon udostępniła wielowarstwową architekturę obronną, zapobiegającą zatruwaniu pamięci (rodzaj pośredniego wstrzykiwania promptów) w agentach AI wykorzystujących pamięć trwałą. Rozwiązanie wykorzystuje interceptor Lambda w bramie AgentCore Gateway do walidacji zapisów w oparciu o dryf semantyczny, wzorce regex, granice przestrzeni nazw i limity częstotliwości.
IBM wprowadziło Praxis Policy Engine (PPE), narzędzie typu open-source znajdujące się teraz w CNCF Sandbox, zaprojektowane do egzekwowania polityk bezpieczeństwa i dostępu w ruchu AI. Działa ono jako monitor referencyjny, który reguluje prompty, wywołania modeli oraz interakcje agentów przy użyciu wspólnego formatu danych.
OpenSSF wprowadziło przewodnik dotyczący wykrywania i usuwania luk w zabezpieczeniach za pomocą AI oraz zapowiedziało certyfikację „Secure AI Associate” (SAIA), która ruszy w grudniu 2026 roku. Inicjatywy te mają na celu wypełnienie luki w bezpieczeństwie spowodowanej szybką integracją AI w procesach wytwarzania oprogramowania.
Badacze zaprezentowali „RL-ATTACK”, nową metodę wykorzystującą uczenie ze wzmocnieniem do generowania ataków typu adversarial na modele językowe, bez potrzeby posiadania dostępu do gradientów modelu. Metoda ta, ucząc się na podstawie reakcji celu, osiąga wysoką efektywność przy niewielkiej liczbie zapytań i skutecznie omija mechanizmy bezpieczeństwa.
Grupa Storm-3358 coraz częściej wykorzystuje framework agentowy AI o nazwie ARTEX do przyspieszania ataków na organizacje finansowe. Framework ten automatyzuje skanowanie podatności, kradzież poświadczeń i przemieszczanie się wewnątrz sieci w czasie rzeczywistym, używając popularnych narzędzi typu Nmap i curl.
Microsoft wprowadził nowe funkcje bezpieczeństwa do zarządzania ryzykiem związanym z agentami AI, w tym Dynamiczne Uprawnienia do ograniczania zakresu zadań oraz kontenery Microsoft Execution Containers (MXC) do izolacji na poziomie systemu operacyjnego. Microsoft Defender zyskał również możliwość wykrywania lokalnych agentów AI oraz ich konfiguracji MCP w systemach Windows i macOS.
Firma Anthropic wprowadziła w wersji beta listę dozwolonych adresów IP dla zapytań API oraz nowy punkt końcowy API dla administratorów do zrywania sesji użytkowników.
Firma Cloudflare wprowadziła nową kategorię „Personal Assistants” w swoich narzędziach Security Analytics, umożliwiając właścicielom serwisów śledzenie i zarządzanie ruchem generowanym przez osobistych agentów AI. Firmy mogą teraz ustawiać precyzyjne zasady dostępu dla poszczególnych agentów, co pozwala chronić przychody z reklam lub wrażliwe obszary strony, przy jednoczesnym wspieraniu użytecznych interakcji.
Firma Collinear AI wprowadziła CWE-bench v2, zestaw testowy obejmujący 100 zadań dotyczących 91 powszechnych typów podatności. Narzędzie to umożliwia programistom programową ocenę skuteczności agentów AI w wykrywaniu i naprawianiu luk w zabezpieczeniach w repozytoriach open-source.
Cloudflare uruchomił Zero Wire, publiczny kanał informacyjny w ramach Cloudflare Radar, konsolidujący dane o krytycznych lukach bezpieczeństwa. Narzędzie oferuje proste, merytoryczne podsumowania kluczowych zagrożeń, wskazując inżynierom i zespołom ds. bezpieczeństwa konkretne kroki zaradcze.
Naukowcy zaprezentowali CoFiBreak, mechanizm nagradzania podczas trenowania atakujących modeli LLM, który wymusza większą różnorodność strategii przełamywania zabezpieczeń. Dzięki zastosowaniu struktury nagród typu „coarse-to-fine” (od ogółu do szczegółu) w optymalizacji polityki grupowej (GRPO), metoda ta pozwala uniknąć typowej dla uczenia wzmacnianego zapaści, w której modele skupiają się na wąskim zestawie powtarzalnych promptów.
Najnowsze badania pokazują, że obecne systemy monitorowania bezpieczeństwa często zawodzą, myląc ekspozycję na wstrzyknięcie z rzeczywistym zobowiązaniem agenta do wykonania niebezpiecznej akcji. Autor proponuje metodę oceny z podwójną stratyfikacją, która oddziela ekspozycję od zachowania, znacząco poprawiając przewidywanie niebezpiecznych wywołań narzędzi z dwukrotnym wyprzedzeniem.
Microsoft odnotował 15-krotny wzrost liczby agentów AI w ekosystemie M365 w ciągu ostatniego roku, co wymusza wprowadzenie nowych ram bezpieczeństwa dla CISO. Uwaga skupia się na wdrażaniu rygorystycznej kontroli tożsamości i głębokiej obserwacji, aby zapobiegać ryzykom związanym z niezarządzaną autonomią AI.