arXiv cs.AI· Jingjuan Huang, Zhiyao Zhang, Alvaro Velasquez, Nathaniel D. Bastian, Jia Liu·· 11 小时前AI 评分20
有限记忆 POMDP 中神经强化学习的有限时间收敛与遗憾保证
Finite-Time Convergence and Regret Guarantees for Neural Reinforcement Learning in POMDPs
AI 导读
研究证明，在满足滤波稳定性假设的有限记忆 POMDP 中，采用非线性神经价值函数逼近的强化学习可实现有限时间次线性遗憾，这是该设定下首个基于神经函数逼近的此类结果。
正文 · AI 翻译
摘要：在部分可观测马尔可夫决策过程（POMDP）中进行强化学习（RL）在计算上具有挑战性，原因是对历史的长期依赖带来的维度灾难。幸运的是，近期研究表明，一类满足滤波器稳定性假设的 POMDP 可以由基于有限记忆窗口内截断历史的超状态马尔可夫决策过程（MDP）很好地近似，其价值差距随窗口长度衰减。然而，现有针对此类超状态 MDP 替代模型的有限时间收敛分析要么局限于过度简化的线性函数近似，要么依赖于独立同分布采样预言机，而 POMDP 轨迹违反了这一假设，这两者都严重限制了这些理论结果在实际中的适用性。这促使我们通过研究具有非线性神经价值函数近似的 POMDP 中的 RL 来弥合这一差距。我们的主要贡献有三方面：i）我们首先建立了一个新的有限状态 MDP 逐点近似误差界，这为我们在 POMDP 中的 RL 算法设计与分析奠定了基础；ii）通过将时序差分（TD）学习应用于 POMDP 生成的超状态转移，并针对超状态 MDP 的贝尔曼不动点，我们证明了具有非线性神经价值函数近似的有限时间评论家误差界；iii）通过将神经评论家函数近似误差界与策略镜像下降框架相结合，我们获得了相对于最优 POMDP 价值的有限时间次线性遗憾。据我们所知，这种基于神经函数近似的有限时间次线性遗憾在有限记忆 POMDP 文献中尚属首次。我们的数值实验也验证了我们的理论结果。
| 评论： | 33 页，5 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07069 [cs.LG] |
| （或 arXiv:2611.07069v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07069 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jingjuan Huang [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 19:25:21 UTC（166 KB）
来源：arXiv cs.AI · arxiv.org