arXiv cs.AI· Shizhan Cai, Qixin Zhang, Siyuan Ma, Siyuan Liang, Yongcheng Jing, Dacheng Tao·· 3 天前AI 评分17
基于可学习类别先验的概率多源数据选择：方差缩减与可保证的去随机化
Probabilistic Multi-Source Data Selection via Learnable Categorical Priors: Variance Reduction and Guaranteed Derandomization
AI 导读
针对多源双层数据选择问题，该论文提出一种新的概率松弛方法，引入多个可学习类别先验，将概率分布参数化在仅由可行数据子集构成的支撑集上，从而自然得到无损舍入方案。该方法具备有效的两点梯度估计器，可同时避免 0-1 松弛所需的逆 Hessian 计算和先前概率松弛中无界得分项，并给出可约简表示以减少梯度计算所需的下层重训练次数。
正文 · AI 翻译
摘要：双层数据选择是一个基础任务，在机器学习和统计学中有大量应用。解决该问题的一种常见策略是将原始的双层组合优化松弛为连续优化。然而，现有方法（包括 0-1 松弛和概率松弛）仍然存在若干局限，例如梯度估计不稳定和舍入不可行。为解决这些问题，本文针对多源双层数据选择问题提出了一种新的概率松弛。我们的核心思想是引入多个可学习的类别先验，以参数化一个仅支撑在可行数据子集上的概率分布，从而自然地产生无损舍入方案。我们进一步表明，所提出的松弛允许一个有效的两点梯度估计器，它能够同时避免现有 0-1 松弛所需的逆 Hessian 计算以及先前概率松弛中出现的无界分数项。此外，我们为该估计器开发了一种可约简表示，大幅减少了梯度计算所需的下层重训练次数。基于这一可约简两点估计器，我们随后为多源双层数据选择问题设计了一种新的随机梯度算法，称为 ReSGD，并在弱子模性下为 ReSGD 返回的子集建立了严格的近似保证。最后，我们进行了大量实验以验证所提出的 ReSGD 的有效性。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14942 [cs.LG] |
| （或使用 arXiv:2610.14942v1 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.14942 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shizhan Cai [查看电子邮件]
[v1]
2026年10月10日星期六 14:14:34 UTC（214 KB）
来源：arXiv cs.AI · arxiv.org