arXiv cs.AI· Chao Chen, Pengyang Shao, Wei Qin, Shijie Hao, Fei Shen, Richang Hong·· 13 小时前AI 评分31
重新审视安全对齐大语言模型的过度拒答：表征与优化视角
Revisiting Over-refusal in Safety-aligned Large Language Models: A Representation and Optimization Perspective
AI 导读
研究从表征与优化角度分析安全对齐 LLM 的过度拒答问题，发现有害样本与过度拒答样本的表征在深层逐渐重叠，且有害样本梯度集中于低秩子空间、与拒答目标梯度耦合更强。为此提出 GOAL 框架，通过将过度拒答梯度对有害梯度提取的低秩拒答子空间做正交化，并引入对比学习目标增强两类表征分离。多模型多基准实验显示，GOAL 在缓解过度拒答的同时保持了安全性能与通用能力。
正文 · AI 翻译
摘要：过度拒绝是大语言模型（LLM）安全对齐的一个关键副作用，会导致无害但表面上有风险的查询被错误拒绝。尽管现有缓解方法有效，但为什么经过安全对齐的 LLM 在正确的安全监督下仍可能拒绝无害查询，这一问题仍未得到充分理解。为填补这一空白，我们从表示和优化的角度分析过度拒绝。我们得到两点观察：1）有害样本和过度拒绝样本的表示在某些中间层在视觉上可区分，但在更深的层中逐渐重叠；2）有害样本的梯度表现出较高的类内相似性，并集中在低秩子空间中。此外，在过度拒绝提示上，它们与拒绝目标梯度的对齐程度强于与正确的有益目标梯度的对齐程度。这种不平衡的梯度耦合会使过度拒绝样本偏向拒绝，而更深层中表观表示分离度的降低可能使模型更难在有害样本和过度拒绝样本之间保持清晰边界。为此，我们提出 GOAL（Gradient Orthogonalization with contrAstive Learning），一个用于缓解过度拒绝的安全对齐框架。具体而言，GOAL 由两个组件构成：1）为防止不平衡的梯度耦合使过度拒绝样本的优化偏向拒绝，我们将过度拒绝梯度与从有害梯度中提取的低秩拒绝子空间正交化；2）为显式增强有害表示与过度拒绝表示之间的分离，我们引入对比学习目标。在多个模型和基准上的大量实验表明，GOAL 在有效缓解过度拒绝的同时，保持了安全性能和通用能力。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.39802 [cs.AI] |
| （或 arXiv:2610.39802v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39802 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Pengyang Shao [查看邮箱]
[v1]
2026年10月29日 星期四 10:47:57 UTC（4,014 KB）
来源：arXiv cs.AI · arxiv.org