Przejdź do treści
piątek, 20 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Prompt Injection — 6 artykułów ✕

Cyberbezpieczeństwo· Ważne· 🧪 Warte przetestowania

Google ocenia system wykrywania anomalii agentów w niezależnych testach

Google przetestowało funkcję wykrywania anomalii agentów (Agent Anomaly Detection) przy użyciu pięciu zewnętrznych benchmarków, w tym AgentDojo i AgentHarm. Narzędzie wykryło 87% szkodliwych instrukcji wykonanych przez agentów, wykazując jednak mniejszą skuteczność w przypadku zatrutej pamięci długotrwałej.

Google Developers
Modele· Ważne· 🧪 Warte przetestowania

IBM udostępnia modele Granite z obsługą LLMON w celu ochrony przed atakami typu prompt injection

IBM wprowadziło LLMON (LLM Object Notation) – język znaczników przypominający XML, który wykorzystuje specjalne zarezerwowane tokeny do jawnego definiowania instrukcji, danych i ograniczeń. Udostępniono dwa eksperymentalne modele, Granite 4.1 3B i 8B LLMON-preview, które wykazują niemal zerową skuteczność ataków typu indirect prompt injection.

Hugging Face
Cyberbezpieczeństwo· Ważne· 🧪 Warte przetestowania

Ochrona przed zatruwaniem pamięci w Amazon Bedrock AgentCore

Firma Amazon udostępniła wielowarstwową architekturę obronną, zapobiegającą zatruwaniu pamięci (rodzaj pośredniego wstrzykiwania promptów) w agentach AI wykorzystujących pamięć trwałą. Rozwiązanie wykorzystuje interceptor Lambda w bramie AgentCore Gateway do walidacji zapisów w oparciu o dryf semantyczny, wzorce regex, granice przestrzeni nazw i limity częstotliwości.

AWS Security
Cyberbezpieczeństwo· Ważne· 🧪 Warte przetestowania

Usprawnione monitorowanie bezpieczeństwa agentów AI korzystających z narzędzi

Najnowsze badania pokazują, że obecne systemy monitorowania bezpieczeństwa często zawodzą, myląc ekspozycję na wstrzyknięcie z rzeczywistym zobowiązaniem agenta do wykonania niebezpiecznej akcji. Autor proponuje metodę oceny z podwójną stratyfikacją, która oddziela ekspozycję od zachowania, znacząco poprawiając przewidywanie niebezpiecznych wywołań narzędzi z dwukrotnym wyprzedzeniem.

arXiv cs.CL
Badania· Ważne

Nowe badanie: agent AI nie decyduje się na posłuszeństwo wobec prompt injection od razu — decyzja kształtuje się w trakcie rozumowania

Nowe badanie podważa powszechne przekonanie, że los agenta AI wobec ataku prompt injection jest przesądzony w momencie przeczytania złośliwego tekstu. Badacze opracowali metodę rozgałęzionych przebiegów (branching rollouts) na zestawach testowych AgentDojo: powtarzali przebieg agenta do momentu, gdy natrafia na wstrzykniętą instrukcję, a następnie wielokrotnie symulowali dalszy ciąg epizodu, by zmierzyć, ile ostatecznego wyniku było już przesądzone, a ile pozostawało otwarte. Dla agenta Qwen3 bez rozszerzonego rozumowania ('thinking') 91% wyniku było już ustalone w tym momencie; po włączeniu rozumowania wskaźnik ten spadł do 62%, co pokazuje, że decyzja o posłuszeństwie często kształtuje się jeszcze długo po pierwszym kontakcie z atakiem. Włączenie rozumowania obniżyło też skuteczność ataków wobec Qwen3, ale zwiększyło ją dla dwóch innych testowanych modeli, a wyniki benchmarków dla rozumujących agentów różniły się po powtórzeniu testu nawet w 35% przypadków.

arXiv cs.CL
Cyberbezpieczeństwo· Ważne· 🧪 Warte przetestowania

Microsoft traktuje agentów AI jako zagrożenie wewnętrzne, wprowadza nowe mechanizmy ograniczania ryzyka

Microsoft ogłosił rozszerzenie ramy bezpieczeństwa Project Perception, mającej zająć się ryzykami wynikającymi z autonomicznych agentów AI – agenci są traktowani jako nowa kategoria „insidera”, wymagająca odrębnej tożsamości, uprawnień i kontroli ryzyka. Nowości obejmują Dynamic Permissions (dostęp oparty na zasadzie najmniejszych uprawnień, ograniczony do zadania i czasu), Dynamic Agent Risk (ciągła ocena ryzyka na podstawie odchyleń zachowania i kontekstu) oraz Dynamic Conditional Access (stopniowana reakcja — od zawężenia dostępu po pełną izolację środowiska wykonawczego). Microsoft rozszerza też wykrywanie i obsługę tożsamości (Microsoft Entra Agent ID) do 60 typów lokalnych agentów, w tym Claude Code, OpenAI Codex i GitHub Copilot, oraz wprowadza „Guardian Agents”, monitorujących i reagujących na ryzykowne zachowania agentów z prędkością maszyny.

Microsoft Security