arXiv cs.AI· Wutong Xu, Yun Qu, Haiyan Feng, Qi Wang, Xiangyang Ji·· 1 天前AI 评分31
大语言模型该遗忘什么：知识关联的强化学习遗忘方法 KARU
What Should LLMs Forget: Reinforcement Unlearning of Knowledge Associations
AI 导读
研究者提出以“知识关联”（KA）作为 LLM 遗忘的基本目标，并据此设计强化学习框架 KARU，在抑制待遗忘知识关联的同时保留其余知识。KARU 包含 token 级奖励构建、分布级正则化和邻近感知保留采样三项机制。在多个 LLM 与代表性基准上的实验显示，KARU 的遗忘效果稳定优于现有基线，同时保持可比的保留性能与通用能力。
正文 · AI 翻译
摘要：大型语言模型（LLM）在预训练期间会获取大量事实知识，其中可能包含敏感、私密或受版权保护的信息，这推动了选择性移除特定知识同时保留通用能力的遗忘方法的发展。然而，现有方法通常优化整个响应，而未明确识别需要遗忘的知识，导致遗忘过程粗糙且不受控制。为解决这一问题，我们重新审视了 LLM 遗忘的遗忘目标，并引入知识关联（Knowledge Association，KA），它刻画了查询上下文与其目标知识之间的关联，并由相应的条件预测分布来实例化，作为遗忘的基本目标。基于 KA，我们提出了知识关联强化遗忘（Knowledge Association Reinforcement Unlearning，KARU），这是一个统一的强化学习框架，在抑制被遗忘知识关联的同时保留需保留的关联。具体而言，KARU 从基于 KA 的公式中推导出互补机制：用于更细粒度遗忘监督的 token 级奖励构建、用于精确知识抑制的分布级正则化，以及用于缓解附带退化的邻近感知保留采样。在代表性基准上跨多种 LLM 的实验表明，KARU 在保持相当保留性能和通用效用的同时，持续提升了遗忘效果，优于现有基线。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41616 [cs.AI] |
| （或 arXiv:2610.41616v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41616 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wutong Xu [查看邮箱]
[v1]
2026年10月30日星期五 11:55:35 UTC（645 KB）
来源：arXiv cs.AI · arxiv.org