一种速率迁移方法：通过随机微积分推导随机梯度下降的收敛速率

A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus

AI 导读

研究者提出一种"速率迁移"方法，可将关联随机微分方程（SDE）的有限时间 Lyapunov 估计转化为随机梯度算法的有限时间收敛界。在一般矩条件与光滑性条件下，随机梯度法的收敛分析被简化为验证 SDE 的 Lyapunov 生成元不等式的微积分论证。该方法能复现经典随机梯度方法的已知收敛速率，并为新优化算法通过其关联 SDE 的微积分论证建立收敛速率提供了途径。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：我们提出一种速率传递方法，将相关随机微分方程（SDE）的有限时间 Lyapunov 估计转化为随机梯度算法的有限时间收敛界。在一般矩条件和光滑性条件下，随机梯度法的收敛性分析归结为一个微积分论证，即验证 SDE 的 Lyapunov 生成元不等式。该方法不仅重现了经典随机梯度方法的已有速率，还提供了一种途径：通过对新优化算法所关联的 SDE 应用微积分论证，来建立其收敛速率。

评论：	33 页
学科：	机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC）；概率论（math.PR）；机器学习（stat.ML）
MSC 分类：	62L20, 60H10, 65K10
ACM 分类：	G.1.6; G.3; I.2.6
引用为：	arXiv:2610.18739 [cs.LG]
	（或 arXiv:2610.18739v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.18739 arXiv 颁发的 DOI 经由 DataCite（待注册）

提交历史

发件人：Neil Walton [查看电子邮件]
[v1] 2026年10月13日星期二 17:09:46 UTC（47 KB）

来源：arXiv cs.AI · arxiv.org