arXiv cs.AI· Guy Smorodinsky, Sveta Gimpleson, Itay Safran·· 6 天前AI 评分22
非线性神经网络中 GD 的收敛速率：对抗鲁棒性视角
On the Rate of Convergence of GD in Non-linear Neural Networks: An Adversarial Robustness Perspective
AI 导读
研究证明，即便在仅含两个神经元 ReLU 网络和两个训练样本的极简二分类设定下，GD 虽能收敛到最优鲁棒性间隔，但收敛速率严格为 Θ(1/ln(t))，极为缓慢。这是首个针对非线性模型鲁棒性间隔收敛速率的显式下界，实证模拟显示该失效模式在多种自然网络初始化下普遍存在且速率一致。
正文 · AI 翻译
摘要：我们研究梯度下降（GD）在一个最小二分类设定中的收敛动态，该设定由一个双神经元 ReLU 网络和两个训练实例组成。我们证明，即使在这些强简化假设下，虽然 GD 成功收敛到一个最优鲁棒性裕度，有效最大化决策边界与训练点之间的距离，但这种收敛以极其缓慢的速率发生，严格按 $\Theta(1/\ln(t))$ 缩放。据我们所知，这首次为非线性模型中鲁棒性裕度的收敛速率建立了显式下界。通过实证模拟，我们进一步证明这种固有的失效模式普遍存在，在多种自然网络初始化下表现出完全相同的紧收敛速率。我们的理论保证是通过对模型不同激活模式下 GD 轨迹的严格分析推导得出的。具体而言，我们对系统动态进行了紧控制，以约束决策边界的轨迹，克服了架构非线性性质带来的主要技术挑战。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.02095 [cs.LG] |
| （或 arXiv:2603.02095v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.02095 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Guy Smorodinsky [查看邮箱]
[v1]
2026年3月2日星期一 17:13:33 UTC（38 KB）
[v2]
2026年10月8日星期四 18:50:56 UTC（38 KB）
来源：arXiv cs.AI · arxiv.org