arXiv cs.AI· Julien Roger, Sam Bodmer, Jian Qian, Benjamin Riviere·· 3 天前AI 评分15
面向平均奖励 Q-Learning 与 Q-Planning 的混合正则化方法
Mixing Regularization for Average-Reward $Q$-Learning and $Q$-Planning
AI 导读
针对平均奖励强化学习中 Bellman 算子仅在马尔可夫链混合时才具备 span 收缩性的难题，该研究提出在给定与奖励无关的 m-step 混合策略下，通过向该混合策略正则化来控制所学策略的收缩与探索性质。
正文 · AI 翻译
摘要：强化学习的平均奖励设定具有挑战性，因为其 Bellman 算子仅在底层马尔可夫链混合时才会在跨度上收缩。现有工作通常假设收缩性质，例如通过环境混合，而我们考虑给定一个与奖励无关的 $m$-步混合策略的设定，并通过向该混合策略正则化来控制所学策略的收缩和探索性质。我们提供了 $Q$-学习算法的有限时间分析，该算法可实例化为多种正则化选择，其保证是相对于正则化不动点来衡量的。我们的框架揭示了控制收缩、探索和算子偏差的新颖的依赖于正则化器的对象。在单步设定中，我们的速率与 $Q$-迭代和同步 $Q$-学习的最佳已知速率相匹配，对于 $m$-步混合，我们推导出新的速率。我们还研究了 $Q$-规划变体，并表明规划充当时间局部化的学习，其中规划视界 $H$ 在边界值带来的偏差与样本复杂度之间进行权衡。最后，我们给出了验证分析的数值研究：(i) 了解强混合策略可改善收敛和探索，其优势随着瓶颈严重程度而增加，并且 (ii) 我们的理论预测了来自 $\alpha$-散度族的正则化器的收敛和偏差排序。
| 评论： | 正文 10 页，参考文献和附录 56 页，8 幅图。正在审稿中 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；优化与控制 (math.OC)；机器学习 (stat.ML) |
| MSC 分类： | 68Q32（主）90C40, 68T05（次） |
| ACM 分类： | I.2.6 |
| 引用为： | arXiv:2610.14988 [cs.LG] |
| （或 arXiv:2610.14988v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14988 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Julien Roger [查看电子邮件]
[v1]
2026年10月10日星期六 15:06:10 UTC（808 KB）
来源：arXiv cs.AI · arxiv.org