arXiv cs.AI· Peizhi Niu, Evelyn Ma, Boya Hou, Huiting Zhou, Duo Zhou, Huan Zhang, S. Rasoul Etesami, Olgica Milenkovic·· 3 天前AI 评分24
GUARD：基于数据归因的大语言模型引导式遗忘与保留框架
GUARD: Guided Unlearning and Retention via Data Attribution for Large Language Models
AI 导读
GUARD 是一个基于数据归因的大语言模型遗忘框架，通过轻量级代理归因指标量化 Forget 集与 Retain 集的对齐程度，并按指数衰减为样本分配自适应权重，从而缓解遗忘过程中的意外遗忘。
正文 · AI 翻译
摘要：由于版权和隐私问题，大语言模型（LLM）的遗忘学习十分重要。一个关键挑战是无意遗忘，即移除数据会无意中损害模型效用。以往工作主要关注架构创新，而数据层面因素的影响仍未得到充分探索。我们提出 GUARD，一个通过数据归因实现**引导式遗忘与保留**（**G**uided **U**nlearning **A**nd **R**etention via **D**ata Attribution）的框架。GUARD 使用一种为 LLM 遗忘学习量身定制的轻量级代理数据归因指标，能够高效量化遗忘集与保留集（或合成补充集）之间的“对齐”程度。该指标引出一个新的遗忘学习目标，为样本分配自适应的非均匀权重，权重随其代理归因分数呈指数衰减，从而可证明地缓解无意的保留损失。在遗忘集为 10% 的 TOFU 基准上，将 GUARD 应用于梯度上升（GA）使保留集 ROUGE-L 从 0.18 提升至 22.40（提升 124 倍），保留概率从 0.06% 提升至 17.50%，从 GA 崩溃中大幅恢复。此外，GUARD 与 NPO（负偏好优化）结合后优于表示误导遗忘（RMU），在基于 ROUGE-L 和概率计算的保留集牺牲率（$\rho_r$ 和 $\rho_p$）上分别降低 33.80% 和 53.10%，并在 MUSE NEWS 保留集上实现 16.01% 的知识保留提升。当使用合成或高度下采样（20%）的保留集计算归因分数时，这些发现依然成立，其中 NPO+GUARD 相比 NPO 仍将 $\rho_r$ 和 $\rho_p$ 分别最多降低 43.89% 和 48.13%。在 MUSE 上也观察到类似改进，与隐私类别中表现最佳的现有方法相比，绝对隐私泄露退化仅为可接受的 13.7。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2506.10946 [cs.LG] |
| （或 arXiv:2506.10946v3 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2506.10946 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Peizhi Niu [查看邮箱]
[v1]
2025年6月12日星期四 17:49:09 UTC（429 KB）
[v2]
2025年10月22日星期三 02:25:01 UTC（539 KB）
[v3]
2026年10月13日星期二 03:11:51 UTC（245 KB）
来源：arXiv cs.AI · arxiv.org