arXiv cs.AI· Teresa Pui Yee Yong, Win Kent Ong, Chee Seng Chan·· 6 天前AI 评分41
论文：输出遗忘不等于真正遗忘——重训练视角揭示机器遗忘评估的系统性高估
Erased, but Not Gone: Output Forgetting Is Not True Forgetting
AI 导读
一项 arXiv 研究提出用"重训练一致的表示遗忘"来检验机器遗忘（MU），发现标准输出层评估会系统性高估遗忘效果。在多种遗忘方法、数据集和模型上，模型虽在输出层看似已遗忘，但表示空间仍存在结构化残差：遗忘样本上与重训练部分对齐、保留样本上更不一致，残差集中于重训练相关方向，且常超出独立重训练的波动范围，在再学习攻击下存在信息恢复风险。
正文 · AI 翻译
摘要：机器遗忘（MU）通常以输出遗忘来评判，例如较低的遗忘集准确率或降低的成员推断。但如果输出层面的成功可以与表示空间中与重训练不一致的残差共存，那么当前的评估实际上在证明何种遗忘？我们通过重训练一致的表示遗忘来研究这一问题，使用一组重训练模型（即在不使用遗忘数据的情况下从头训练）作为理想遗忘的操作性参考分布。在多种遗忘方法、数据集和模型上，我们的理论分析和实证结果表明，标准的输出层面评估可能系统性地高估遗忘的成功。在这一更严格的视角下，当前方法往往在输出层看似已被遗忘，却相对于重训练表现出结构化的不匹配。它们在遗忘样本上与重训练部分对齐，在保留样本上则更加不一致，并且倾向于将残差差异局部化在重训练相关方向上，而非在表示空间中弥散。这种结构化不匹配的特征是遗忘/保留不对称、方向性不匹配以及沿重训练相关方向的集中残差。在许多情况下，这些差异超过了独立重训练的变异性，并在再学习攻击中带来信息恢复的风险。总体而言，结果表明当前的 MU 往往被评估为表面遗忘，而非重训练一致的遗忘。更广泛地说，重训练揭示了输出遗忘所隐藏的东西。
| 评论： | 25 页 |
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.25001 [cs.LG] |
| （或 arXiv:2606.25001v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.25001 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Teresa Pui Yee Yong [查看电子邮件]
[v1]
2026年6月23日星期二 16:23:53 UTC（7,332 KB）
[v2]
2026年10月9日星期五 07:06:19 UTC（6,621 KB）
来源：arXiv cs.AI · arxiv.org