arXiv cs.AI· Yanjie Dong, Zhou Su, Wei Wang, Gang Wang·· 12 小时前AI 评分18
基于马尔可夫轨迹的重要性修正动量 Actor-Critic 统一分析
A Unified Analysis of Importance-Corrected Momentum Actor-Critic over a Markovian Trajectory
AI 导读
研究提出一种通用 actor-critic 方法，将岭正则化路径式 LSTD 评论家与重要性修正动量（ICM）演员结合，评论家通过 Newton-Schulz 求逆逐帧求解，无需步长、混合时间知识和秩条件。
正文 · AI 翻译
摘要：我们提出了一种通用的 actor-critic 方法，它将岭正则化路径最小二乘时序差分（LSTD）评论家与重要性校正动量（ICM）演员相结合。评论家通过 Newton-Schulz 求逆对每一帧求解一个岭正则化系统，无需步长、无需知道混合时间，也无需秩条件。在由 $T$ 个连续转移组成的帧上对随机策略梯度取平均，ICM 演员会产生阶为 $\frac{1}{T}$ 的帧相关梯度偏差。据我们所知，我们首次建立了沿单条马尔可夫轨迹、使用归一化和非归一化步长的 ICM actor-critic 方法的有限时间界。在平稳分布到折扣分布不匹配的范围内，$K$ 次更新上的平均梯度范数对于归一化步长以 ${\cal O}(K^{-1/3}+\frac{1}{T})$ 为界，对于非归一化步长以 ${\cal O}(K^{-1/4}+\frac{1}{T})$ 为界。我们将这些界专门应用于 Muon、带动量的归一化随机梯度下降（SGD）、带动量的 SGD 和 AdaNorm，并在核范数下对它们进行比较。在无量纲步长下，Muon 将与 $m\times n$ 演员参数矩阵相关的因子 $\min\{m,n\}^{1/2}$ 限制在噪声项和校正项中。该比较还刻画了正交化何时能比归一化保证更大的无噪声上升：恰好在梯度的核秩超过谱-弗罗贝尼乌斯曲率比时。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.33477 [cs.LG] |
| （或 arXiv:2610.33477v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33477 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yanjie Dong [查看电子邮件]
[v1]
2026年10月24日星期六 06:03:53 UTC（55 KB）
来源：arXiv cs.AI · arxiv.org