arXiv cs.AI· Yuchen Jiao, Gen Li·· 14 小时前AI 评分18
面向鲁棒强化学习的可证明高效 Q-learning 算法
Provably Efficient Q-learning for Robust Reinforcement Learning
AI 导读
研究提出一种面向鲁棒强化学习的异步 Q-learning 算法，在基于总变差（TV）距离构建不确定性集的无限时域 RMDP 上，仅用单条马尔可夫样本轨迹即可实现最优 Q-function 的逐元素 ε-近似。其样本复杂度上界接近 minimax 最优，仅多出 1/(1-γ) 因子，并显著优于现有结果。
正文 · AI 翻译
摘要：基于马尔可夫决策过程（MDP）的标准强化学习（RL）算法容易受到仿真到现实差距的影响。为解决这一问题，人们提出了基于鲁棒 MDP（RMDP）的分布鲁棒 RL 算法，以确保智能体在真实世界环境中面对不可预测的条件时仍能可靠运行。尽管已有大量文献，但针对鲁棒 RL，尤其是针对在实际应用中更为相关的马尔可夫数据，\revision{仍然缺乏一种高效的无模型方法}。在本工作中，我们朝着解决这一问题迈出了一步，提出了一种用于鲁棒 RL 的样本高效（异步 Q-learning）算法。具体而言，考虑一个 $\gamma$-折扣无限时域 RMDP，其状态空间为 $\mathcal{S}$，动作空间为 $\mathcal{A}$，其中不确定性集由总变差（TV）距离指定，不确定性水平为 $\sigma$。假设可以访问由行为策略和名义转移核诱导的马尔可夫样本的单条轨迹，则所提出的 Q-learning 算法——以实现最优 Q-函数的逐元素 $\varepsilon$-近似——的样本复杂度上界为 $$ \frac{1}{\mu_{\mathsf{min}}\varepsilon^2(1-\gamma)^3\max\{1-\gamma,\sigma\}} + \frac{t_{\mathsf{mix}}}{\mu_{\mathsf{min}}(1-\gamma)} $$（忽略对数因子）。这里，$t_{\mathsf{mix}}$ 和 $\mu_{\mathsf{min}}$ 分别表示样本轨迹的混合时间和最小状态-动作占用概率。该结果几乎是极小极大最优的，仅多出一个因子 $\frac{1}{1-\gamma}$。此外，它相较于现有界取得了显著改进。
| 学科： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG）；统计理论（math.ST） |
| 引用为： | arXiv:2610.35656 [stat.ML] |
| （或 arXiv:2610.35656v1 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35656 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuchen Jiao [查看邮箱]
[v1]
2026年10月26日星期一 16:03:25 UTC（170 KB）
来源：arXiv cs.AI · arxiv.org