DISCERN：面向免保留集增量式机器遗忘的分布合成回放方法

查看 PDF HTML（实验性）

摘要：机器遗忘旨在从已训练的模型中移除特定训练数据的影响，而无需从头重新训练。然而在实际部署中，删除请求会随时间陆续到达，这就需要增量类别遗忘（ICU）：类别被依次移除，先前遗忘的知识必须保持遗忘状态，而其余类别必须得到保留。我们提出 DIstributional SynthetiC rEplay for Retain-free iNcremental unlearning（DISCERN），一种基于干预的类别遗忘方法，它用从各类别参数分布中采样的合成嵌入替代对保留集的访问。与假设每个类别质心周围为各向同性高斯分布的原型回放不同，DISCERN 为每个类别拟合欧几里得族（高斯、拉普拉斯、Student's $t$）和方向族（von Mises--Fisher、Fisher--Bingham），并通过统计检验在它们之间进行选择；当所有分布均不被接受时，则采用交叉验证对数似然。这一设计源于依赖架构的潜在几何结构：与卷积网络不同，Transformer 嵌入近似位于超球面上并集中在类别方向附近。我们在 MNIST、CIFAR-10 和 CIFAR-100 上，使用两个卷积骨干和两个 Transformer 骨干，在单类别、多类别和增量遗忘设置下，将 DISCERN 与七个无保留集基线进行了评估。DISCERN 在一次性移除类别时具有竞争力，并且是 Transformer 上 ICU 中最稳定的方法：在 ViT-B/16 上，经过 20 次顺序删除后，它保持的调和平均值为 $0.797$，而同时设置下最强的方法从 $0.918$ 降至 $0.048$。配对消融实验表明，按类别选择分布显著减少了先前遗忘类别的重新出现，其作用是稳定累积遗忘，而非带来统一提升。

评论：	32 页，10 幅图
主题：	机器学习（cs.LG）；人工智能（cs.AI）
ACM 分类：	I.2
引用为：	arXiv:2611.07892 [cs.LG]
	（或 arXiv:2611.07892v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.07892 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Nicolás Segura Kunsagi [查看电子邮件]
[v1] 2026 年 11 月 5 日星期四 12:11:29 UTC（2,945 KB）