arXiv cs.CL· Stepan Epifantsev, Anna Antipova, Oleg Chernikov, Leon Strelkov, Alexey Dontsov·· 10 小时前AI 评分42
强制输出选项字母会抑制拒答：WMDP 上的机制性证据
Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP
AI 导读
研究在 WMDP 数据集上对 Llama-3.1-8B 和 Qwen3-8B 给出多选题格式降低拒答率的首个机制性解释：模型处理 MCQ 时会迅速锁定答案字母 token，其激活距拒答方向约为开放式格式的 3 倍。消融承载 MCQ 答案的注意力头会提升拒答率，说明答案选择与拒答相互竞争。作者据此认为 MCQ 安全分数主要衡量知识能力，而非安全机制。
正文 · AI 翻译
摘要：大型语言模型（LLM）的安全基准通常采用多项选择题（MCQ）格式。然而，先前的研究记录显示，MCQ 格式会降低拒答率，这可能显著影响模型的安全行为。我们首次对大规模杀伤性武器代理（WMDP）数据集上的这一效应给出了机制性解释，涉及两个模型——Llama-3.1-8B 和 Qwen3-8B。首先，我们使用 tuned lens 技术表明，在处理 MCQ 时，模型会很快锁定到一个答案字母 token，这与开放式格式中拒答逐渐累积形成对比。此外，我们观察到，与开放式对应项相比，MCQ 格式上的激活值距离拒答方向大约远 3 倍。而且，消融承载 MCQ 格式答案的注意力头会增加拒答，这直接证明 MCQ 答案选择与拒答存在竞争。这些发现表明，MCQ 安全分数主要衡量知识能力，并不评估安全机制。
| 评论： | 已被 BlackboxNLP 2026（EMNLP 2026 workshop）接收。17 页，15 张图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.08639 [cs.CL] |
| （或 arXiv:2611.08639v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08639 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Stepan Epifantsev [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 19:36:44 UTC（4,997 KB）
来源：arXiv cs.CL · arxiv.org