arXiv cs.CL· Xunlei Chen, Qinghui Gong, Jingkun Xue, Qihe Liu, Shijie Zhou, Fei Ye·· 9 天前AI 评分22
并非所有变化都必要：大语言模型遗忘中的可恢复漂移
Not Every Change Is Necessary: Recoverable Drift in Large Language Model Unlearning
AI 导读
研究者提出 Propose-Then-Project Unlearning（PTP-U）框架，先通过局部解析编辑削弱目标知识关联，再将非目标输出分布与原模型对齐，在固定遗忘约束下恢复能力。在三个基准上，PTP-U 实现 81.22%-91.03% 的遗忘率，平均保留 94.20% 的非目标效用，在同等遗忘水平下持续保持更高的非目标效用。
正文 · AI 翻译
摘要：大语言模型中的机器遗忘旨在移除不需要的知识，同时保留模型的其余能力。尽管现有方法使用保留目标或限制编辑发生的位置，但达到所需的遗忘水平仍可能留下附带变化，从而损害非目标行为。我们的恢复对比表明，其中一些变化可以在保持已观察到的遗忘性能的同时被逆转。在这项工作中，我们提出了先提议后投影遗忘（PTP-U），一个将定向遗忘与非目标能力恢复相结合的框架。PTP-U 首先应用局部解析编辑来削弱目标知识关联，然后将非目标输出分布与原始模型的输出分布对齐，以在保持固定遗忘约束的同时恢复能力。两个阶段服务于一个共同目标：在满足遗忘要求的同时，保持流畅生成和非目标任务上的性能。在三个基准上，PTP-U 在评估的方法中实现了最强的遗忘-保留权衡，达到 81.22%-91.03% 的遗忘率，同时平均保留 94.20% 的非目标效用。在相同遗忘水平下，PTP-U 始终保留更高的非目标效用。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11915 [cs.CL] |
| （或 arXiv:2610.11915v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11915 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xunlei Chen [查看电子邮件]
[v1]
2026年10月8日星期四 13:12:40 UTC（4,829 KB）
来源：arXiv cs.CL · arxiv.org