Testy MCQ sztucznie ukrywają odmowy bezpieczeństwa w modelach LLM
W skrócie: Badania pokazują, że format pytań wielokrotnego wyboru (MCQ) tłumi zachowania odmawiające w modelach LLM. Eksperymenty na modelach Llama-3.1-8B i Qwen3-8B wykazują, że wymuszenie konkretnej litery odpowiedzi przesuwa aktywacje modelu 3x dalej od kierunku odmowy, co oznacza, że benchmarki bezpieczeństwa oparte na MCQ mogą zawyżać ocenę bezpieczeństwa modelu.
To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „arXiv cs.CL”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.
Co się zmieniło?
- 1Dowody mechanistyczne wskazują, że format MCQ wyzwala szybki wybór odpowiedzi, konkurując z mechanizmami odmowy.
- 2Aktywacje w formacie MCQ znajdują się 3x dalej od wektora odmowy w porównaniu z pytaniami otwartymi.
- 3Ablacja głowic uwagi powiązanych z odpowiedziami MCQ zwiększa wskaźniki odmowy.
Dlaczego to ważne?
Firmy polegające na wynikach bezpieczeństwa opartych na MCQ mogą być w błędnym poczuciu bezpieczeństwa. Prawdziwe testy bezpieczeństwa wymagają oceny otwartej i kontradyktoryjnej, a nie znormalizowanych formatów wielokrotnego wyboru.
Co to oznacza dla agentów AI i contact center?
Podczas oceny lub dostrajania modeli dla agentów głosowych o znaczeniu krytycznym nie polegaj wyłącznie na benchmarkach MCQ. Stosuj kontradyktoryjne, otwarte testy, aby upewnić się, że agenci utrzymują zachowania odmawiające, gdy brakuje im informacji lub spotykają się ze szkodliwym zamiarem.
🧪 Warte przetestowania
Testowanie bezpieczeństwa modeli za pomocą danych wejściowych o charakterze otwartym zamiast MCQ zapewnia realistyczny obraz wydajności agentów w nieprzewidywalnych środowiskach połączeń na żywo.
Źródła
- arXiv cs.CLOficjalneŹródło pierwotneOryginalny artykuł →„Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP“9 lis 2026, 07:00Licencja: arXiv metadata CC0; papers under their own licences · nasze podsumowanie (treść zmieniona)
- Data publikacji źródła
- 9 lis 2026, 07:00
- Znalezione przez nasz system
- 9 lis 2026, 07:20
- Podsumowanie wygenerowano
- 9 lis 2026, 07:20
Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność