arXiv cs.AI· Jiamin He, Mark Rowland, Zhaohan Daniel Guo, Hado van Hasselt, Diana Borsa·· 10 小时前AI 评分22
用 Excursion 策略实现 Off-policy 学习
Off-policy Learning with Excursion Policies
AI 导读
研究提出 excursion 策略：智能体先按目标策略执行多步“excursion”，再切回行为策略，作为行为策略与目标策略线性插值之外的一种结构化折中。作者给出该策略的动态规划结果，并推导出可证明正确的 off-policy TD 算法用于估计其价值。在连续控制基准上，其效率-稳定性权衡与 mixture 策略相当，但行为机制存在概念差异。
正文 · AI 翻译
摘要：离策略强化学习（RL）试图在数据来自不同行为策略的情况下学习目标策略的价值。这通常需要在偏差与方差或稳定性之间进行权衡。一种权衡方式是行为策略与目标策略之间的线性插值，但这只代表了更广泛插值机制空间中的一个点。我们引入了偏移策略——一种结构化的替代方案，智能体先遵循目标策略进行多步“偏移”，然后再回到行为策略。我们推导了这些策略的动态规划结果，为其在 RL 中的应用建立了理论基础。我们进一步开发了可证明可靠的离策略时序差分（TD）算法，用于偏移价值估计。我们发现，在连续控制基准中，偏移策略提供了与混合策略相当效率-稳定性权衡，并且我们的分析说明了它们行为上的概念差异。
| 评论： | 已被 NeurIPS 2026 接收（camera-ready） |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13275 [cs.LG] |
| （或 arXiv:2611.13275v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13275 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiamin He [查看邮箱]
[v1]
2026年11月9日星期一 21:41:23 UTC（1,742 KB）
来源：arXiv cs.AI · arxiv.org