arXiv cs.CL· Hoang-Chau Luong, Lingwei Chen·· 10 小时前AI 评分31
SHIFT：通过外推“收缩-修复”前瞻实现大语言模型遗忘
Unlearning by Extrapolating a Shrink-and-Heal Lookahead
AI 导读
SHIFT 通过将微调后模型向预微调权重收缩并短暂重学保留集，估计指向重训练模型的遗忘方向，再外推为蒸馏目标迭代优化。在 OpenUnlearning 统一协议下对比 11 个基线，SHIFT 在全部 TOFU 设置中取得最高综合得分，与 oracle 的对齐程度平均比次优方法近 3.7 倍；在 MUSE 上保留知识最多。
正文 · AI 翻译
摘要：遗忘学习旨在让大语言模型表现得如同一个未在其遗忘集上重新训练的模型。然而，主流的似然抑制目标缺乏明确的遗忘目标：它们持续奖励更低的遗忘集似然，使遗忘对优化预算敏感。我们通过在不训练预言机的情况下估计其方向来解决这一局限。我们的关键思想是将微调后的模型向其微调前的权重收缩，并短暂重新学习保留集，从而移除遗忘特定的贡献；在线性化情形下，这种收缩-修复前瞻将模型向重新训练模型移动固定比例的距离，而后者是其唯一不动点。我们的方法 SHIFT 将前瞻的逐 token 变化外推为蒸馏目标，并迭代细化它们。在统一的 OpenUnlearning 协议下与十一个基线评估相比，SHIFT 在所有 TOFU 设置上取得最高综合得分，并与预言机对齐最接近，平均比次优方法接近 3.7 倍；在 MUSE 上，它保留的保留知识最多。在更大的优化预算下，基线会越过预言机，而 SHIFT 仍接近它，即使在重学习攻击下也是如此。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00374 [cs.LG] |
| （或 arXiv:2611.00374v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00374 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hoang-Chau Luong [查看电子邮件]
[v1]
2026年10月30日星期五 20:57:41 UTC（50 KB）
来源：arXiv cs.CL · arxiv.org