arXiv cs.AI· Deeraj SK, Sadhana Devarajan, Tanmoy Hazra, Anupam Shukla·· 10 小时前AI 评分29
IDSISA：用影响函数蒸馏分片训练，实现高效机器遗忘
IDSISA: Influence-Distilled Sharded Training for Efficient Machine Unlearning
AI 导读
IDSISA 通过影响函数将易遗忘样本集中到少数分片，并从不受影响的分片蒸馏以恢复隔离造成的效用损失，在保留 SISA 精确删除保证的同时，蒸馏带来的效用恢复被单独量化为期望 ε_cert ≤ 0.015。
正文 · AI 翻译
摘要：机器遗忘通过移除特定训练样本的影响来满足隐私法规要求。完全重新训练能提供强保证，但在大规模场景下计算代价过高；近似方法效率高但缺乏形式化保证。SISA（分片、隔离、切片与聚合训练）通过数据分片和独立重训练实现可认证删除，但随机划分会将遗忘请求分散到大多数分片，且隔离重训练会降低效用。我们提出 IDSISA（影响蒸馏 SISA），利用影响函数将易遗忘样本集中到少数分片，并从不受影响的分片进行蒸馏，以恢复因隔离而损失的效用。继承自 SISA 重训练步骤的删除保证仍然精确，无需概率性限定；基于蒸馏的效用恢复是一个单独量化、经经验界定的近似（期望下 $\epsilon_{\text{cert}} \leq 0.015$）。我们进一步形式化了重复删除请求序列下的认证，其中跨分片蒸馏可能在分片之间产生依赖；我们证明，基于闭包的级联重训练过程可在任意删除序列下将删除保证恢复到完整聚合模型。在 ResNet-18/CIFAR-10、ResNet-18/CIFAR-100、BiLSTM/IMDB、TCN/IMDB 以及 Fashion-MNIST 上的全连接网络上的实验表明，相对于 SISA，选择性遗忘效果提升 $14-91\%$，效用保留相对提升最高达 $50\%$（在其他架构上取得一致的百分点增益，这些架构上相对基线无定义），遗忘时间变化范围从 $-6.7\%$ 到 $+6.4\%$，具体取决于架构。
| 评论： | 本工作已提交至 IEEE 以供可能发表。版权可能在不另行通知的情况下转移，此后本版本可能不再可访问 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06519 [cs.LG] |
| （或本版本使用 arXiv:2611.06519v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2611.06519 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Deeraj S K [查看邮箱]
[v1]
2026年11月4日星期三 13:45:32 UTC（956 KB）
来源：arXiv cs.AI · arxiv.org