arXiv cs.AI· Hamid Dashtbani, Alexandra Dmitrienko·· 10 小时前AI 评分38
以减法换加法：缓解大语言模型脆弱安全对齐的新方法
Addition by Subtraction: Toward Mitigating Fragile Safety Alignment in Large Language Models
AI 导读
研究者提出 Addition by Subtraction 方法，在微调中逐步移除已识别的安全关键神经元，并用偏好优化让模型其他部分重建安全对齐行为。所得模型对剪枝类攻击显著更鲁棒，对拒绝方向消融及多种黑盒越狱攻击的防御也同步提升，同时真实性改善且通用能力基本保留。在来自 3 家厂商的 4 个模型上实验一致有效，部分攻击成功率最多降低 90%。
正文 · AI 翻译
摘要：大型语言模型（LLM）会经过安全对齐以防止生成有害内容，但它们仍然容易受到越狱攻击。近期研究揭示了一个更深层的结构性弱点：安全对齐可能高度稀疏，以至于剪除少量安全关键神经元或消融单个拒绝方向，就能大幅削弱对齐后的行为。在本工作中，我们迈出了加强安全对齐的第一步，使其对稀疏模型组件的依赖降低。我们提出了“以减促加”（Addition by Subtraction），该方法在微调过程中逐步移除已识别的安全关键神经元，并利用偏好优化通过模型的其他部分重新建立安全对齐行为。我们的结果表明，所得模型对基于剪枝的攻击具有显著更强的鲁棒性。值得注意的是，这些收益还推广到了启发我们设计的白盒攻击之外：“以减促加”提升了对其他基于稀疏性的干预措施的鲁棒性，包括拒绝方向消融，以及广泛的黑盒越狱攻击。微调后的模型还表现出更高的真实性，同时基本保留了通用能力。在来自三家厂商的四个模型上进行的全面实验表明，安全鲁棒性得到了一致提升，对某些攻击可将攻击成功率降低多达 90%。
| 主题： | 人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2611.06553 [cs.AI] |
| （或 arXiv:2611.06553v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06553 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hamid Dashtbani [查看电子邮件]
[v1]
2026年11月4日星期三 14:18:05 UTC（190 KB）
来源：arXiv cs.AI · arxiv.org