arXiv cs.AI· Sagi Habani, Yehonathan Refael, Ofir Lindenbaum·· 3 天前AI 评分30
哪个优化器泄露最多？优化器隐式偏差作为训练数据隐私控制器
Which Optimizer Leaks Most? Optimizer Implicit Bias as a Training-Data Privacy Controller
AI 导读
研究比较了 SGD、Adam、Muon 三种优化器在训练数据重建攻击下的隐私泄露差异，核心区分在于隐式偏差的权重特异性。SGD 和 Muon 的平稳性条件保留了足够权重信息，实践中可重建训练样本；Adam 在 ℓ∞ 隐式偏差区间仅编码最大坐标及其符号的离散模式，对评估的攻击表现出持续更强的抵抗。
正文 · AI 翻译
摘要：发布神经网络检查点可能泄露其训练数据的信息，而现有的重建结果依赖于梯度下降训练。我们探究优化器的选择是否会影响恢复训练数据的能力。在将 Karush--Kuhn--Tucker 条件与训练数据重建相联系的工作基础上，我们表明流行优化器（SGD、Adam、Muon）的隐式偏差会留下截然不同的训练数据指纹。我们认为关键区别在于这些隐式偏差的 \emph{权重特异性}，即平稳性条件的优化器相关目标对最终权重编码了多少连续信息。用 SGD 和 Muon 训练的模型，其极限平稳性条件保留了足够的权重特异性信息，从而在实践中重建训练样本。对于处于 $\ell_\infty$ 隐式偏差区域的 Adam，这些条件中优化器相关的部分仅编码最大坐标及其符号的离散模式，而在非退化 KKT 点处，这些条件太少，无法在一阶意义上识别训练集。在 MNIST 和 CIFAR-10 上的实验支持了这些论断：与用 SGD 训练的模型相比，用 Muon 训练的模型能以低得多的训练成本产生更强的重建，尽管这一优势取决于训练机制和架构，而用 Adam 训练的模型在所评估的攻击下始终表现出更强的抵抗力。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18294 [cs.LG] |
| （或 arXiv:2610.18294v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18294 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yehonathan Refael [查看电子邮件]
[v1]
2026年10月13日星期二 12:42:00 UTC（2,478 KB）
来源：arXiv cs.AI · arxiv.org