Przejdź do treści
piątek, 20 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Prompt Injection — 5 artykułów ✕

Cyberbezpieczeństwo· Ważne· 🧪 Warte przetestowania

Nowe badania ujawniają uniwersalne luki w użyteczności modeli LLM

Naukowcy zaprezentowali EndoUT, framework typu adversarial, który identyfikuje uniwersalne wyzwalacze promptów zdolne do znacznego obniżenia użyteczności modeli LLM. Poprzez analizę zakłóceń w preferencjach modelu dotyczących początków odpowiedzi, atakujący mogą tworzyć stałe ciągi znaków, które wymuszają spadek wydajności w różnych zadaniach bez konieczności posiadania etykiet czy informacji zwrotnej o zadaniu.

arXiv cs.CL
Cyberbezpieczeństwo· Ważne· 🧪 Warte przetestowania

Google ocenia system wykrywania anomalii agentów w niezależnych testach

Google przetestowało funkcję wykrywania anomalii agentów (Agent Anomaly Detection) przy użyciu pięciu zewnętrznych benchmarków, w tym AgentDojo i AgentHarm. Narzędzie wykryło 87% szkodliwych instrukcji wykonanych przez agentów, wykazując jednak mniejszą skuteczność w przypadku zatrutej pamięci długotrwałej.

Google Developers
Modele· Ważne· 🧪 Warte przetestowania

IBM udostępnia modele Granite z obsługą LLMON w celu ochrony przed atakami typu prompt injection

IBM wprowadziło LLMON (LLM Object Notation) – język znaczników przypominający XML, który wykorzystuje specjalne zarezerwowane tokeny do jawnego definiowania instrukcji, danych i ograniczeń. Udostępniono dwa eksperymentalne modele, Granite 4.1 3B i 8B LLMON-preview, które wykazują niemal zerową skuteczność ataków typu indirect prompt injection.

Hugging Face
Cyberbezpieczeństwo· Ważne· 🧪 Warte przetestowania

Ochrona przed zatruwaniem pamięci w Amazon Bedrock AgentCore

Firma Amazon udostępniła wielowarstwową architekturę obronną, zapobiegającą zatruwaniu pamięci (rodzaj pośredniego wstrzykiwania promptów) w agentach AI wykorzystujących pamięć trwałą. Rozwiązanie wykorzystuje interceptor Lambda w bramie AgentCore Gateway do walidacji zapisów w oparciu o dryf semantyczny, wzorce regex, granice przestrzeni nazw i limity częstotliwości.

AWS Security
Cyberbezpieczeństwo· Ważne· 🧪 Warte przetestowania

Usprawnione monitorowanie bezpieczeństwa agentów AI korzystających z narzędzi

Najnowsze badania pokazują, że obecne systemy monitorowania bezpieczeństwa często zawodzą, myląc ekspozycję na wstrzyknięcie z rzeczywistym zobowiązaniem agenta do wykonania niebezpiecznej akcji. Autor proponuje metodę oceny z podwójną stratyfikacją, która oddziela ekspozycję od zachowania, znacząco poprawiając przewidywanie niebezpiecznych wywołań narzędzi z dwukrotnym wyprzedzeniem.

arXiv cs.CL