arXiv cs.AI· Xiang Li, Nan Jiang·· 11 小时前AI 评分31
Q-MMR：基于递归重加权与矩匹配的离策略评估框架
Q-MMR: Off-Policy Evaluation via Recursive Reweighting and Moment Matching
AI 导读
Q-MMR 提出一种有限时域 MDP 下的离策略评估理论框架，为每个数据点学习标量权重，使重加权奖励逼近目标策略的期望回报，权重通过针对价值函数判别器类的矩匹配目标以自顶向下方式归纳学习。该框架仅需 Q^π 可实现性即可建立与维度无关的有限样本保证，误差不依赖函数类的统计复杂度。研究还建立了其与重要性采样、线性 FQE 等现有方法的联系，并重新审视离线 RL 中覆盖性的本质。
正文 · AI 翻译
摘要：我们提出了一个新的理论框架 Q-MMR，用于有限时域 MDP 中的离策略评估。Q-MMR 学习一组标量权重，每个数据点对应一个权重，使得重加权后的奖励能够近似目标策略下的期望回报。这些权重通过针对值函数判别器类的矩匹配目标，以自顶向下的方式归纳学习得到。值得注意的是，或许令人惊讶的是，对于一般函数逼近，仅需 $Q^\pi$ 的可实现性即可建立数据相关的有限样本保证，且该界与维度无关——也就是说，误差不依赖于函数类的统计复杂度。我们还建立了与若干现有方法的联系，例如重要性采样和线性 FQE。进一步的理论分析为覆盖（coverage）的本质提供了新的见解，而覆盖是离线 RL 中一个具有根本重要性的概念。
| 学科： | 机器学习 (cs.LG)；人工智能 (cs.AI)；机器学习 (stat.ML) |
| 引用为： | arXiv:2605.06474 [cs.LG] |
| （或 arXiv:2605.06474v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06474 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiang Li [查看邮箱]
[v1]
2026年5月7日 星期四 16:00:04 UTC (122 KB)
[v2]
2026年5月8日 星期五 12:50:37 UTC (122 KB)
[v3]
2026年10月23日 星期五 17:57:34 UTC (128 KB)
来源：arXiv cs.AI · arxiv.org