Przejdź do treści
piątek, 20 listopada 2026
Tenesys AI News
Subskrypcja

Badania AI

Prace naukowe, benchmarki, architektury, rozumowanie i metody trenowania.

#Prompt Injection — 2 artykuły ✕

Badania· Ważne

Nowe badanie: agent AI nie decyduje się na posłuszeństwo wobec prompt injection od razu — decyzja kształtuje się w trakcie rozumowania

Nowe badanie podważa powszechne przekonanie, że los agenta AI wobec ataku prompt injection jest przesądzony w momencie przeczytania złośliwego tekstu. Badacze opracowali metodę rozgałęzionych przebiegów (branching rollouts) na zestawach testowych AgentDojo: powtarzali przebieg agenta do momentu, gdy natrafia na wstrzykniętą instrukcję, a następnie wielokrotnie symulowali dalszy ciąg epizodu, by zmierzyć, ile ostatecznego wyniku było już przesądzone, a ile pozostawało otwarte. Dla agenta Qwen3 bez rozszerzonego rozumowania ('thinking') 91% wyniku było już ustalone w tym momencie; po włączeniu rozumowania wskaźnik ten spadł do 62%, co pokazuje, że decyzja o posłuszeństwie często kształtuje się jeszcze długo po pierwszym kontakcie z atakiem. Włączenie rozumowania obniżyło też skuteczność ataków wobec Qwen3, ale zwiększyło ją dla dwóch innych testowanych modeli, a wyniki benchmarków dla rozumujących agentów różniły się po powtórzeniu testu nawet w 35% przypadków.

arXiv cs.CL

Google Research publikuje raport o wyzwaniach prywatności i bezpieczeństwa autonomicznych agentów AI

Google Research opublikowało raport z warsztatów Contextual Agent Privacy and Security (CAPS), współtworzony przez ponad 50 naukowców i przedstawicieli branży. Raport argumentuje, że agenci AI muszą rozumieć kontekstowe normy społeczne, a nie tylko statyczne uprawnienia, aby działać właściwie przy obsłudze danych osobowych i wykonywaniu działań w imieniu użytkownika. Zaproponowano wielowarstwowe podejście obejmujące sandboxing na poziomie systemu, wnioskowanie na poziomie modelu, kontrolki zorientowane na użytkownika, zabezpieczenia wielu agentów i zarządzanie ekosystemem, oparte na teorii Integralności Kontekstowej (Contextual Integrity).

Google Research