arXiv cs.AI· Xiang Li, Yuheng Zhang, Nan Jiang·· 6 天前AI 评分22
超越状态级镜像下降：基于参数化策略的离线策略优化
Beyond State-Wise Mirror Descent: Offline Policy Optimization with Parametric Policies
AI 导读
该研究将离线强化学习的理论保证扩展到大规模或连续动作空间上的参数化策略类，突破了PSPI等算法仅适用于有限小动作空间、依赖状态级镜像下降且策略须由critic隐式诱导的限制。作者识别出上下文耦合是镜像下降扩展到参数化策略的核心难点，并通过将其与自然策略梯度建立联系，给出了新的分析与算法洞见，包括离线RL与模仿学习之间出人意料的统一。
正文 · AI 翻译
摘要：我们研究在一般函数逼近下离线强化学习（RL）的理论方面。虽然先前的工作（例如 Xie 等人，2021）已经通过悲观主义建立了从离线数据中学习良好策略的理论基础，但现有计算上可处理（通常是在预言机高效的意义上）的算法，如 PSPI，仅适用于有限且较小的动作空间。此外，这些算法依赖于逐状态的镜像下降，并要求行动者从评论家函数中隐式导出，无法适应实践中普遍存在的独立策略参数化。在这项工作中，我们解决了这些局限性，并将理论保证扩展到大型或连续动作空间上的参数化策略类。当将镜像下降扩展到参数化策略时，我们识别出上下文耦合是核心困难，并展示了将镜像下降与自然策略梯度联系起来如何带来新颖的分析、保证和算法见解，包括离线 RL 与模仿学习之间令人惊讶的统一。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.23811 [cs.LG] |
| （或 arXiv:2602.23811v5 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.23811 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Xiang Li [查看电子邮件]
[v1]
2026年2月27日星期五 08:51:57 UTC（100 KB）
[v2]
2026年3月3日星期二 02:13:05 UTC（100 KB）
[v3]
2026年3月25日星期三 05:18:26 UTC（96 KB）
[v4]
2026年5月7日星期四 23:18:19 UTC（80 KB）
[v5]
2026年10月9日星期五 16:28:54 UTC（100 KB）
来源：arXiv cs.AI · arxiv.org