arXiv cs.AI· Julian Sester, C\'ecile Decker·· 11 小时前AI 评分20
Q-Learning 在有限模型不确定性下的鲁棒算法
Q-Learning under Finite Model Uncertainty
AI 导读
针对每个状态-动作对仅关联有限候选转移核集合的马尔可夫决策过程，提出一种鲁棒 Q-learning 算法，学习器只需从各候选模拟器观测后继状态及其确定性奖励，无需已知转移概率或奖励函数。
正文 · AI 翻译
摘要：我们针对模型不确定性下的马尔可夫决策过程提出了一种稳健的 Q-learning 算法，其中每个状态–动作对都与一个有限的候选转移核模糊集相关联。这一有限测度框架支持用户设计的不确定性模型，包括相互竞争的拟合模型和压力情景。{学习器从每个候选模拟器中观测后继状态及其确定性奖励，而无需显式知道转移概率或奖励函数。} 我们证明了所学 Q 函数几乎必然收敛到稳健最优值，并推导出一个时间一致的高概率误差界，该误差界将可观测的经验贝尔曼残差与转移核估计误差分离开来。我们还给出了有限状态空间上 Wasserstein 和参数化不确定性模型的定量有限模糊近似结果。数值示例说明了情景选择的影响，并将表格算法与稳健值迭代进行了比较。
| 主题： | 优化与控制（math.OC）；人工智能（cs.AI）；机器学习（cs.LG）；概率（math.PR） |
| 引用为： | arXiv:2407.04259 [math.OC] |
| （或 arXiv:2407.04259v4 [math.OC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2407.04259 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Julian Sester [查看电子邮件]
[v1]
2024年7月5日星期五 05:19:36 UTC（49 KB）
[v2]
2025年2月16日星期日 03:16:16 UTC（53 KB）
[v3]
2026年2月9日星期一 05:38:32 UTC（348 KB）
[v4]
2026年11月5日星期四 07:58:02 UTC（245 KB）
来源：arXiv cs.AI · arxiv.org