arXiv cs.AI· Brett Daley·· 3 天前AI 评分22
Gated Q-learning：为 Q-learning 的离策略偏差加入可调"口味"
Gated Q-learning: Add Off-Policy Bias to Taste
AI 导读
研究者提出 Gated Q-learning，用连续、依赖状态-动作的门控机制选择性衰减资格迹，在 Watkins' Q(λ) 与 Peng's Q(λ) 两个极端之间平滑插值，无需依赖重要性采样。
正文 · AI 翻译
摘要：多步信用分配对于样本高效的强化学习至关重要，然而在 Q-learning 中管理离策略偏差仍是一个根本性挑战。30 年来，实践者一直局限于二元选择：要么以严重截断资格迹为代价消除偏差（Watkins 的 Q($\lambda$)），要么忽略偏差以加快学习，同时将有害误差注入价值估计（Peng 的 Q($\lambda$)）。现代离策略估计器无法解决这一矛盾，因为在 Q-learning 的贪婪目标策略下，重要性采样比率会崩溃。我们提出门控 Q-learning（Gated Q-learning），一种新颖的算法框架，通过在两个历史极端之间平滑插值来终结这一困境。我们的方法不依赖重要性采样，而是采用一种连续的、依赖于状态-动作的门控机制，以探索感知的方式选择性地衰减资格迹。我们为该机制提供了严格的理论基础，证明其期望算子仍是压缩映射，并推导出其精确不动点。实证评估验证，中间门控能够安全地实现更长的信用分配视野，从而比任一极端都获得更快的初始学习速度。门控 Q-learning 为重要性采样提供了一种简单的替代方案，同时能够定制 Q-learning 智能体的有效多步视野和离策略偏差量。
| 评论： | 18 页，2 幅图，2 张表。发表于《强化学习杂志》（RLJ）；在强化学习会议（RLC 2026）上展示。v2：修正文本并收紧证明；重新生成图表；结果不变 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.28916 [cs.LG] |
| （或 arXiv:2607.28916v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.28916 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Brett Daley [查看电子邮件]
[v1]
2026 年 7 月 31 日星期五 00:32:46 UTC（125 KB）
[v2]
2026 年 10 月 11 日星期日 08:57:52 UTC（100 KB）
来源：arXiv cs.AI · arxiv.org