arXiv cs.CL· Zesheng Shi, Yucheng Zhou, Jing Li·· 11 小时前AI 评分32
约束式知识遗忘（CKU）：通过保留有用知识实现更安全的 LLM 对齐
Safety Alignment via Constrained Knowledge Unlearning
AI 导读
研究者提出约束式知识遗忘（CKU）安全对齐策略，通过对特定 MLP 层神经元打分识别与有用知识相关的神经元子集 U，并在遗忘过程中剪除 U 中神经元的梯度，从而在缓解有害内容的同时保留有价值知识。实验显示 CKU 显著提升模型安全性且不损害整体性能，在安全与效用之间取得优于现有方法的平衡。
正文 · AI 翻译
摘要：尽管在安全对齐方面取得了显著进展，大型语言模型（LLM）仍然容易受到越狱攻击。现有的防御机制尚未完全删除 LLM 中的有害知识，这使得此类攻击能够绕过防护措施并产生有害输出。为应对这一挑战，我们提出了一种新颖的安全对齐策略——约束知识遗忘（Constrained Knowledge Unlearning，CKU），其聚焦于两个主要目标：知识定位与保留，以及遗忘有害知识。CKU 通过对特定多层感知机（MLP）层中的神经元进行评分，识别出与有用知识相关的神经元子集 U。在遗忘过程中，CKU 剪除 U 中神经元的梯度，以保留有价值的知识，同时有效减轻有害内容。实验结果表明，CKU 在不损害整体性能的前提下显著提升了模型安全性，与现有方法相比在安全性与实用性之间实现了更优的平衡。此外，我们对各 MLP 层中神经元知识敏感性的分析，为安全对齐与模型知识编辑的机制提供了有价值的见解。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2505.18588 [cs.CL] |
| （或 arXiv:2505.18588v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.18588 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shi Zesheng [查看电子邮件]
[v1]
2025 年 5 月 24 日星期六 08:29:50 UTC（1,887 KB）
[v2]
2026 年 10 月 16 日星期五 03:24:44 UTC（1,370 KB）
来源：arXiv cs.CL · arxiv.org