arXiv cs.AI· Leonardo Cesani, Matteo Papini, Marcello Restelli·· 6 天前AI 评分22
LVR-PG：方差缩减策略梯度被证明近乎极小极大最优
Variance-Reduced Policy Gradient is Nearly Minimax-Optimal
AI 导读
研究者提出 Loopless Variance-Reduced PG（LVR-PG）统一理论框架，抽象出结合递归更新与防御性重要性采样的一阶估计器类，涵盖 PAGE-PG 和 STORM-PG。
正文 · AI 翻译
摘要：标准策略梯度（PG）算法由于依赖蒙特卡洛更新而存在高估计方差。虽然离策略方差缩减缓解了这一问题，但建立最优样本复杂度目前需要要么诸如一致有界重要性权重之类的限制性假设，要么不切实际的二阶运算。在这项工作中，我们引入了无循环方差缩减 PG（LVR-PG），这是一个统一的理论框架，抽象出一类将递归更新与防御性重要性采样相结合的一阶估计器，包括 PAGE-PG 和 STORM-PG 等已知估计器。我们证明，对于一般参数化策略，该算法类在弱梯度支配下实现了 $\tilde{\mathcal{O}}(\epsilon^{-2})$ 的最后迭代全局收敛。我们使用纯一阶更新、在最小假设下且无需梯度预条件子来建立这一保证。通过将最先进的下界扩展到连续参数化策略，我们建立了 $\Omega(\epsilon^{-2})$ 的样本复杂度极限，确认我们的框架在对数因子和视界项范围内是极小极大最优的。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13692 [cs.LG] |
| （或 arXiv:2610.13692v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13692 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Leonardo Cesani [查看电子邮件]
[v1]
2026年10月9日星期五 14:54:26 UTC（1,285 KB）
来源：arXiv cs.AI · arxiv.org