arXiv cs.AI· Kun Fang, Qinghua Tao, Junxu Liu, Yaxin Xiao, Yulin Jin, Qingqing Ye, Jian Sun, Haibo Hu·· 12 小时前AI 评分31
LOFT：在低维特征子空间中实现机器遗忘
Machine Unlearning in Low-Dimensional Feature Subspace
AI 导读
研究者提出 LOFT，一种在预训练模型的低维特征子空间中执行机器遗忘（MU）的方法，通过优化小型投影矩阵分离剩余数据与遗忘数据。该方法只需从预训练模型一次性提取特征，无需反复访问原始数据或更新整个模型，实验显示其计算开销显著更低且遗忘性能更优。该工作已被 NeurIPS 2026 接收，代码已公开。
正文 · AI 翻译
摘要：机器遗忘（Machine Unlearning，MU）旨在从预训练模型中移除特定数据的影响，同时保持其在剩余数据上的性能。本工作基于低维特征子空间为 MU 提出了一个新视角，由此产生了在此处分离剩余数据与遗忘数据的潜力。这种可分离性启发了我们的 LOFT，该方法通过主投影在预训练模型的低维特征子空间中进行遗忘，这些主投影经过优化，以最大程度地捕获剩余数据的信息，同时削弱遗忘数据的信息。在遗忘过程中，LOFT 仅优化一个小尺寸的投影矩阵，该矩阵可灵活插入预训练模型，且只需从预训练模型中进行一次性特征提取。LOFT 表明，即使在无需重复访问原始数据或更新整个预训练模型的情况下，也能在低维特征子空间中实现有效且高效的 MU。大量实验验证了 LOFT 在多种模型、数据集、任务和应用中显著更低的计算开销和更优的遗忘性能。代码已公开。
| 评论： | 本工作已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.22456 [cs.LG] |
| （或 arXiv:2601.22456v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.22456 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kun Fang Dr. [查看电子邮件]
[v1]
2026年1月30日星期五 01:58:38 UTC（526 KB）
[v2]
2026年10月18日星期日 07:45:22 UTC（650 KB）
[v3]
2026年10月21日星期三 07:55:34 UTC（651 KB）
来源：arXiv cs.AI · arxiv.org