跳到正文
arXiv cs.AI· Yunxiao Shi, Shuo Yang, Yixin Su, Rui Zhang, Min Xu·· 4 小时前AI 评分20

SGD 影响估计的跨 epoch 偏差分析:ACC-SGD-IE 累积校正方法

Cross-Epoch Bias in SGD-based Leave-One-Out Influence: Analysis and Accumulative Correction

AI 导读

针对多 epoch SGD-Influence Estimator(SGD-IE)在近似有限删除时忽略"后续删除作用于先前删除累积参数位移"的交互问题,研究者提出 Accumulative SGD-Influence Estimator(ACC-SGD-IE),利用样本后续出现时的 Hessian 校正估计的参数变化。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:训练数据影响估计通过预测移除单个样本的效果,为数据选择和清洗提供支持。标准的多轮 SGD 影响估计器(SGD-IE)沿记录的轨迹汇总样本重复出现所带来的贡献。当用于近似有限删除时,它忽略了一种交互作用:后续的移除作用于此前移除所累积的参数位移。我们引入累积 SGD 影响估计器(ACC-SGD-IE),以刻画此前的移除如何改变再次移除同一样本的效果。它利用该样本在后续出现时的 Hessian 来校正估计的参数变化。我们的非凸分析表明,这一校正从有限时域误差界中消除了 SGD-IE 额外的交互贡献:被忽略的交互会产生一个与累积参数变化成线性的局部误差,而在 Lipschitz-Hessian 假设下,剩余的 Taylor 余项具有二次界。这些界刻画了训练如何传播剩余误差。在涵盖干净和含噪的表格、文本和视觉数据集的非凸实验中,相对于 SGD-IE,ACC-SGD-IE 将验证损失变化的 RMSE 降低了 10.8%,并将 Jaccard@10% 平均提高了 15.2%。在评估的移除预算下,这些增益还转化为 MNIST 和 CIFAR10 上数据清洗后更低的测试误分类率。在含噪工业数据集上,它降低了聚合参数 RMS 误差,平均相对降低 53.4%。我们进一步讨论了计算权衡,为强凸目标提供了补充的理论分析和实验评估,并探讨了累积校正机制在其他影响估计器上的潜在扩展。
评论: 24 页,含附录。更新了理论分析和实验。代码:此 https URL
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2510.26185 [cs.LG]
  (或 arXiv:2510.26185v2 [cs.LG] 为此版本)
  https://doi.org/10.48550/arXiv.2510.26185

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Yunxiao Shi [查看邮箱]
[v1] 2025 年 10 月 30 日周四 06:45:22 UTC(5,015 KB)
[v2] 2026 年 11 月 16 日周一 23:52:47 UTC(5,641 KB)

来源:arXiv cs.AI · arxiv.org