arXiv cs.AI· Mattie Fellows, Clarisse Wibault, Uljad Berdica, Johannes Forkel, Maike Osborne, Jakob N. Foerster·· 10 小时前AI 评分32
SOReL 与 TOReL：实现完全离线强化学习的方法框架
Fully Offline Reinforcement Learning
AI 导读
研究者提出 SOReL，一种完全离线的贝叶斯基于模型强化学习方法，通过学习动力学后验、用预测不确定性估计策略价值，实现全程离线的超参数选择。其扩展 TOReL 将该调参框架推广到任意无模型与基于模型的离线 RL 算法。作者给出 regret 分析，证明贝叶斯离线 RL 在标准正则条件下达到 minimax 最优参数速率。
正文 · AI 翻译
摘要：离线强化学习（ORL）承诺实现安全且样本高效的部署，但现有方法依赖未记录的在线交互进行超参数调优，且缺乏对初始在线性能可靠的全离线估计。我们提出 SOReL，一种完全离线的贝叶斯基于模型的强化学习方法，它学习动力学上的后验分布，通过预测不确定性估计策略价值，并支持完全离线的超参数选择。我们进一步提出 TOReL，将该调优框架扩展到任意无模型和基于模型的 ORL 算法。我们提供了一项遗憾分析，表明贝叶斯离线强化学习在标准正则条件下达到极小极大最优的参数速率。总之，我们的方法为完全离线强化学习建立了一个实用且具有理论基础的框架。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2505.22442 [cs.LG] |
| （或 arXiv:2505.22442v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.22442 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mattie Fellows [查看电子邮件]
[v1]
2025年5月28日星期三 15:07:24 UTC（5,896 KB）
[v2]
2025年5月29日星期四 20:38:03 UTC（5,896 KB）
[v3]
2026年7月15日星期三 19:14:08 UTC（6,122 KB）
[v4]
2026年10月30日星期五 17:26:53 UTC（6,122 KB）
来源：arXiv cs.AI · arxiv.org