MCQ testų formatai dirbtinai slepia LLM saugumo spragas
Trumpai: Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „arXiv cs.CL“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Mechanistiniai įrodymai rodo, kad MCQ formatas skatina greitą atsakymo pasirinkimą, kuris konkuruoja su atsisakymo mechanizmais.
- 2Aktyvacijos MCQ formatu yra 3x toliau nuo atsisakymo vektoriaus nei atviro tipo užklausų atveju.
- 3Su MCQ atsakymais susijusių dėmesio centrų (attention heads) išjungimas padidina atsisakymų dažnį.
Kodėl tai svarbu?
Įmonės, kurios vertina savo modelius tik MCQ pagrįstais balais, gali jaustis nepagrįstai saugios. Tikrasis saugumo testavimas reikalauja atviro pobūdžio, adversarinių užklausų, o ne standartizuotų pasirinkimo testų.
Ką tai reiškia AI agentams ir kontaktų centrams?
Vertindami ar tobulindami saugumo reikalavimus atitinkančius balso agentus, nepasikliaukite vien tik MCQ testais. Naudokite atviro pobūdžio testavimą, kad užtikrintumėte, jog agentai tinkamai atsisako vykdyti užklausas, kai trūksta informacijos arba kai ketinimai yra kenkėjiški.
🧪 Verta testuoti
Modelių saugumo testavimas atviromis užklausomis, o ne MCQ formatu, suteikia tikrovišką vaizdą, kaip agentai elgsis nenuspėjamoje tiesioginių skambučių aplinkoje.
Šaltiniai
- arXiv cs.CLOficialusPirminis šaltinisOriginalus straipsnis →„Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP“2026-11-09 07:00Licencija: arXiv metadata CC0; papers under their own licences · mūsų santrauka (turinys pakeistas)
- Šaltinio publikavimo data
- 2026-11-09 07:00
- Mūsų sistema rado
- 2026-11-09 07:20
- Santrauka sugeneruota
- 2026-11-09 07:20
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas