arXiv cs.AI· Yize Hao, Guangxin Jiang, Shuang Qiu·· 3 天前AI 评分15
离线 Q-Learning 结合 KL 正则化的快速收敛速率
Fast Rates for Offline Q-Learning with KL Regularization
AI 导读
该论文研究带 KL 正则化的有限时域马尔可夫决策过程中的离线 Q-learning，提出 KLQ 与 KLPQ 两种算法。KLQ 无需显式悲观机制即可达到 Õ(1/ε) 的样本复杂度，但依赖 KL 正则化参数与时域的指数项；KLPQ 引入悲观机制后保持 Õ(1/ε) 速率并消除该指数依赖。作者称这是表格型有限时域 KL 正则化 MDP 中离线 Q-learning 的首个快速收敛保证。
正文 · AI 翻译
摘要：本文研究了带有 Kullback-Leibler（KL）正则化的有限时域马尔可夫决策过程的离线 Q-learning。近期研究表明，KL 正则化可以在离线决策问题中带来快速收敛速率。然而，采用增量随机逼近更新的 Q-learning 能否在离线设定下达到这样的快速速率，仍不清楚。我们首先提出 KL 正则化 Q-Learning（KLQ），这是经典 Q-learning 的一个简单变体。通过利用 KL 正则化，我们证明 KLQ 无需显式悲观即可达到 $\widetilde{O}(1/\epsilon)$ 的样本复杂度。然而，这一保证对 KL 正则化参数和时域具有指数依赖。为解决这一局限，我们进一步提出 KL 正则化悲观 Q-Learning（KLPQ），将悲观机制融入 KLQ。我们证明 KLPQ 在保持相同 \(\widetilde O(1/\epsilon)\) 速率的同时消除了显式指数依赖，从而进一步改进了样本复杂度。据我们所知，这些结果首次为表格型有限时域 KL 正则化 MDP 中的离线 Q-learning 建立了快速速率保证。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18839 [cs.LG] |
| （或使用 arXiv:2610.18839v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.18839 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Yize Hao [查看邮箱]
[v1]
2026年10月13日星期二 17:56:27 UTC（39 KB）
来源：arXiv cs.AI · arxiv.org