arXiv cs.AI· Kintan Saha, Hamed Masoudi, Xinyi Sheng, Dominik Baumann, Joni Pajarinen, Arsenii Mustafin·· 2 天前AI 评分22
V-SHARE：基于优势的强化学习算法的可证明收敛保证
V-SHARE: Provable Convergence Guarantees for Advantage-based Algorithms
AI 导读
研究者提出基于优势的价值学习算法 V-SHARE，将动作价值函数分解为状态价值与动作优势并跨动作共享信息，结合重要性加权的 Bellman 残差修正，首次给出该类算法的完整理论刻画，涵盖渐近收敛与非渐近有限样本保证。
正文 · AI 翻译
摘要：在强化学习中，基于优势的值学习方法与标准 Q-learning 不同，它通过将动作价值函数分解为依赖状态的价值分量和动作特定的优势，从而在动作之间共享信息。虽然这一机制在表格型强化学习和深度强化学习中均已被证明有效，但其理论理解仍不完整。我们提出 V-SHARE，一种基于优势的值学习算法，它将跨动作价值共享与重要性加权的 Bellman 残差校正相结合。据我们所知，我们首次提供了对基于优势算法的完整理论刻画，包括渐近收敛性和非渐近有限样本保证。我们识别出一种情形，其中 V-SHARE 缓解了异步 Q-learning 的稀有动作瓶颈，并揭示了更强确定性收缩与增加的重要性加权噪声之间的收缩—方差权衡。受这一权衡启发，我们开发了递减残差预处理调度，将更快的早期收缩与更低的渐近噪声相结合。我们进一步开发了双时间尺度分析，在保持收敛保证的同时去除了单时间尺度残差权重阈值。在离散马尔可夫决策过程（MDP）和深度强化学习基准上的实验证实了我们的结果。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21448 [cs.LG] |
| （或 arXiv:2610.21448v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21448 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kintan Saha [查看电子邮件]
[v1]
2026年10月15日星期四 07:52:35 UTC（359 KB）
来源：arXiv cs.AI · arxiv.org