arXiv cs.AI· Lisha Chen·· 4 小时前AI 评分20
AI 辅助证明改进随机多梯度下降收敛率,将界从 Õ(T^{-1/4}) 提升至 Õ(T^{-1})
Improved Convergence Rates for Stochastic Multi-Gradient Descent which Close the Gap: A Proof by AI
AI 导读
一篇 arXiv 论文为平滑非凸随机多目标优化中的随机多梯度下降(SMG)给出新的收敛率:在常数步长与线性增长小批量下,T 次迭代后期望平方经验 Pareto 平稳性度量为 Õ(T^{-1}),优于 Chen 等人(JMLR 2024)的 Õ(T^{-1/4}),且不要求梯度有界。
正文 · AI 翻译
摘要:对于光滑非凸随机多目标优化,随机多梯度下降(SMG)从随机梯度计算出目标函数的近似最速公共下降方向。在标准假设下,本文为 SMG 建立了一个新的收敛速率,以平方帕累托平稳性(PS)度量表示。在固定步长和线性增长的小批量下,算法输出处的期望平方经验 PS 度量在 $T$ 次迭代后为 $\tilde{O}(T^{-1})$。这改进了 Chen 等人(JMLR,2024)在线性增长批次下得到的 $\tilde{O}(T^{-1/4})$ 界,且不要求梯度有界。这里,$\tilde{O}(\cdot)$ 抑制对数因子。速率改进的关键在于利用 PS 度量的 Lipschitz 连续性(由多梯度下降算法(MGDA)方向的范数定义),而不是 Chen 等人(2024)所使用的 MGDA 方向的 $(1/2)$-Hölder 连续性。对于采用精确 MGDA 更新和固定批量的 MoCo 和 MoCo+ 变体,分析分别给出期望平方经验 PS 速率为 $O(T^{-1/2})$ 和 $\tilde{O}(T^{-2/3})$。这些界在对数因子范围内与相应的单目标动量速率相匹配。该证明是作者在准备研究生课程作业时偶然发现的:ChatGPT 5.4 Thinking Extended 在回应作者编写的作业解答提示时生成了主要 SMG 结果的初始证明策略;随后作者验证并重新整理了所得论证。附录记录了该提示、概述了带有 LLM 披露的学生提交,并给出了关于基于动量的随机 MGDA 的额外证明和结果。
| 评论: | 20 页,预印本,增加基于动量的方法的结果和证明,改进文献讨论 |
| 主题: | 优化与控制(math.OC);人工智能(cs.AI);机器学习(cs.LG) |
| MSC 分类: | 90C29(主),90C15、90C26、90C30(次) |
| 引用为: | arXiv:2607.18174 [math.OC] |
| (或此版本的 arXiv:2607.18174v2 [math.OC]) | |
| https://doi.org/10.48550/arXiv.2607.18174 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Lisha Chen [查看邮箱]
[v1]
2026 年 7 月 20 日星期一 17:13:07 UTC(42 KB)
[v2]
2026 年 9 月 6 日星期日 23:37:52 UTC(30 KB)
来源:arXiv cs.AI · arxiv.org