arXiv cs.AI· Qingyue Zhao, Kaixuan Ji, Heyang Zhao, Quanquan Gu·· 11 小时前AI 评分24
前向 KL 正则化离线上下文 Bandit 在单策略集中性下的快速收敛率
Fast Rates for Offline Contextual Bandits with Forward-KL Regularization under Single-Policy Concentrability
AI 导读
针对前向 KL 正则化目标下现有分析只能得到 Õ(ε⁻²) 慢速率的问题，该研究首次在表格与一般函数逼近设定下、于单策略集中性条件下给出 Õ(ε⁻¹) 上界。其凸分析框架以新方式利用悲观原则，绕开此前基于中值定理的证明路线，并给出匹配的下界以证明速率紧致。下界还表明，前向 KL 正则化在低正则化区间会退化为无正则化的慢速率，与反向 KL 正则化类似。
正文 · AI 翻译
摘要：\emph{Kullback-Leibler}（KL）正则化以\emph{反向}或\emph{正向}KL的形式普遍存在于强化学习算法中。近期研究表明，在反向KL正则化下，决策问题可达到$\epsilon^{-1}$型快速率，而标准情形下的样本复杂度为$\epsilon^{-2}$型。然而，对于正向KL正则化的目标，现有的统计分析要么不适用，要么只能得到$\tilde{O}(\epsilon^{-2})$的慢速率。我们通过对正向KL正则化离线CB进行简洁分析，迈出了解决该问题的第一步。我们在表格型和一般函数逼近设定下，基于\emph{单策略可集中性}的概念，首次给出了$\tilde{O}(\epsilon^{-1})$的上界。特别地，我们的凸分析流程以新颖的方式利用悲观原则统一了这些设定，并完全绕过了先前工作中基于中值定理的证明套路，这可能具有独立的研究价值。此外，我们提供了速率最优的下界，表明我们的上界在统计速率意义下是紧的。我们的下界还表明，正向KL正则化的样本复杂度在低正则化情形下会退化为无正则化的慢速率，这与反向KL正则化类似。
| 评论： | 36页，定稿版本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；信息论（cs.IT）；统计理论（math.ST）；机器学习（stat.ML） |
| 引用为： | arXiv:2605.09214 [cs.LG] |
| （或 arXiv:2605.09214v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.09214 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qingyue Zhao [查看邮箱]
[v1]
2026年5月9日星期六 23:17:46 UTC（52 KB）
[v2]
2026年11月4日星期三 23:30:31 UTC（71 KB）
来源：arXiv cs.AI · arxiv.org