arXiv cs.AI· Prabhat Nagarajan, Martha White, Marlos C. Machado·· 10 小时前AI 评分31
Deep Double Q-learning：显式训练双 Q 函数的深度强化学习算法
Deep Double Q-learning
AI 导读
论文提出 Deep Double Q-learning（DDQL），通过 Double Q-learning 目标显式训练两个 Q 函数，并结合较低回放比、更长目标网络更新间隔与共享层稳定训练。
正文 · AI 翻译
摘要：Double Q-learning 是一种经典的控制算法，可缓解 Q-learning 的最大化偏差。为此，它显式地训练两个独立的动作价值函数，并在计算自举目标时用它们将动作选择与动作评估解耦。Double DQN 将这种解耦适配到深度强化学习（RL）中，但只直接训练单个动作价值函数，并未完全解耦其估计器。因此，两个估计器仍然相关，高估现象持续存在。在本文中，我们提出 Deep Double Q-learning（DDQL），一种通过 Double Q-learning 目标显式训练两个 Q 函数的深度 RL 算法。DDQL 通过一系列技术稳定训练，包括较低的回放比率、更长的目标网络更新间隔以及共享层。在 57 款 Atari 2600 游戏中，DDQL 的总体性能优于 Double DQN，在 47 款游戏上表现更好，同时进一步减少了高估。我们研究了 DDQL 的关键设计选择，包括其网络架构、回放比率和小批量采样策略。
| 评论： | 神经信息处理系统大会（NeurIPS），2026； |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2507.00275 [cs.LG] |
| （或 arXiv:2507.00275v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2507.00275 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Prabhat Nagarajan [查看电子邮件]
[v1]
2025年6月30日星期一 21:32:46 UTC（5,968 KB）
[v2]
2026年5月14日星期四 20:49:30 UTC（6,356 KB）
[v3]
2026年11月9日星期一 21:12:50 UTC（7,574 KB）
来源：arXiv cs.AI · arxiv.org