arXiv cs.AI· Umberto Biccari, Yongcun Song·· 13 小时前AI 评分18
隐私预算何时花：私有学习中的最优分配
When to spend privacy: optimal allocation in private learning
AI 导读
研究将完整的高斯噪声方差调度建模为组合零集中差分隐私约束下的开环控制问题，证明每个局部极小点都会耗尽认证预算，从而得到精确预算的单纯形形式。提出的 Privacy-Budget Adjoint Mirror Descent（PB-AMD）结合路径伴随梯度与熵更新，保持正性、费用下限和预算约束，线性二次简化给出显式平方根分配律。
正文 · AI 翻译
摘要：隐私会计界定了差分隐私随机梯度下降的累积隐私成本，但并未确定如何在各次迭代之间分配固定预算。我们将完整的高斯噪声方差调度表述为在复合零集中差分隐私约束下的开环控制，并显式考虑调度选择。对于期望二次终端跟踪，我们证明每个局部极小值点都会耗尽经认证的预算，从而得到精确预算的单纯形表述。我们提出隐私预算伴随镜像下降（PB-AMD），将路径伴随梯度与保持正性、收费下限和规定预算的熵更新相结合。在正则性和强制性假设下，我们建立了最优调度的存在性与预算稳定性、设计到训练的效用稳定性，以及确定性、随机和样本平均的平稳性保证。线性二次约化产生显式的平方根分配律。实验表明，在几种分配规则上跟踪性能有所改善，在学习率重启设置中相比均匀分配具有预测改进，而学习率分配表现相似。在共同平稳性容差下的比较表明，在测试问题上，调度优化时间低于投影梯度下降。该框架通过非线性训练动力学将经认证的隐私会计与优化联系起来。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC） |
| 引用为： | arXiv:2610.39954 [cs.LG] |
| （或 arXiv:2610.39954v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39954 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Umberto Biccari [查看电子邮件]
[v1]
2026年10月29日星期四 12:51:07 UTC（500 KB）
来源：arXiv cs.AI · arxiv.org