跳到正文
arXiv cs.AI· Priyank Jayraj, Devanshu sahoo, Uday Mittal·· 12 小时前AI 评分31

数据筛选后的精确遗忘:Exact Unlearning After Data Curation

Exact Unlearning After Data Curation

AI 导读

研究提出一种“保留契约”:在“先出现的相似记录会阻止后续记录”的固定筛选规则下,对服务未来可支持的删除次数设上限,即可精确判定哪些被排除记录仍可能进入训练,并据此构建可在反复删除后精确修复的训练统计摘要。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:训练流水线通常会在拟合模型之前移除相似的样本。删除一条原始记录可能会改变这种选择,并让一个此前被排除的样本被纳入。在这样的请求之后,服务必须保留什么才能复现训练?我们针对一条固定规则回答这个问题:较早的相似记录会阻止较晚的记录。对未来删除总数的限制精确地确定了哪些记录仍能进入训练。我们利用这一边界构建训练统计量的摘要,该摘要在反复删除后可以被精确修复。修复后的摘要与在剩余预算下对幸存数据重建的结果相同。我们还为岭回归(一种对系数大小施加惩罚的线性学习器)构造了有限精度特征。在精确有理数输出的情况下,允许多一次删除会改变所需的私有信息。它从零上升到被排除候选中每一个私有特征符号。在整个请求序列中,一种编码在所构造的族上达到了这一条件私有信息最小值。在 1,001 条 AskUbuntu 开发记录上,删除一条最初被排除的记录会在 51 个固定相似度阈值中的 13 个上使另一条记录被纳入。精确成员资格修复通过了 13,056 次删除步骤检查。两种基于模型的语义校准未能通过其固定标准,因此下游任务研究未运行。核心结果是一份保留契约:服务承诺支持的未来删除决定了哪些被排除的数据仍可能被需要。
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2610.33426 [cs.LG]
  (或 arXiv:2610.33426v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.33426

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Priyank Jayraj [查看电子邮件]
[v1] 2026年10月24日星期六 03:51:17 UTC(35 KB)

来源:arXiv cs.AI · arxiv.org