Pereiti prie turinio
2026 m. lapkričio 20 d., penktadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

#Prompt Injection — 5 straipsniai ✕

Kibernetinis saugumas· Svarbu· 🧪 Verta testuoti

Nauji tyrimai atskleidžia universalias LLM modelių pažeidžiamumo spragas

Tyrėjai pristatė EndoUT – priešininkiško (adversarial) testavimo metodą, skirtą nustatyti universalius užklausų paleidiklius, kurie gali stipriai sumažinti LLM modelių naudingumą. Analizuodami, kaip modifikuotas kontekstas trikdo modelio pradinius atsakymus, užpuolikai gali sukurti fiksuotus simbolių junginius, kurie destabilizuoja modelio veikimą neturint prieigos prie specifinių užduočių ar vertinimo duomenų.

arXiv cs.CL
Modeliai· Svarbu· 🧪 Verta testuoti

„IBM“ pristatė LLMON pagrįstus „Granite“ modelius, skirtus apsaugai nuo „prompt“ injekcijų

„IBM“ pristatė LLMON (LLM Object Notation) – XML tipo žymėjimo kalbą, kuri naudoja specialius rezervuotus žetonus aiškiai atskirti instrukcijas, duomenis ir apribojimus. Išleisti du eksperimentiniai modeliai, „Granite 4.1 3B“ ir „8B LLMON-preview“, kurie demonstruoja beveik nulinį netiesioginių „prompt“ injekcijų sėkmės rodiklį.

Hugging Face
Kibernetinis saugumas· Svarbu· 🧪 Verta testuoti

Apsauga nuo atminties užnuodijimo naudojant Amazon Bedrock AgentCore

„Amazon“ pristatė daugiapakopę gynybos architektūrą, skirtą apsaugoti DI agentus, naudojančius ilgalaikę atmintį, nuo „atminties užnuodijimo“ (netiesioginio užklausų įterpimo). Sprendimas naudoja „Lambda“ pagrindu veikiantį „AgentCore Gateway“ pertvėrimą, kuris tikrina įrašus pagal semantinį nuokrypį, „regex“ šablonus, vardų sričių ribas ir dažnio apribojimus.

AWS Security
Kibernetinis saugumas· Svarbu· 🧪 Verta testuoti

Patobulinta saugumo stebėsena įrankius naudojantiems AI agentams

Naujausi tyrimai rodo, kad dabartiniai saugumo stebėsenos įrankiai dažnai klysta, painiodami injekcijos poveikį su agento realiu ketinimu atlikti nesaugų veiksmą. Autorius siūlo dvipusio stratifikavimo vertinimo metodą, kuris atskiria poveikį nuo elgsenos, taip žymiai pagerinant gebėjimą prognozuoti nesaugius įrankių iškvietimus iki dviejų žingsnių į priekį.

arXiv cs.CL