arXiv cs.AI· Yaomin Wang, Jianting Pan, Ran Tian, Xiaoyang Li, Yu Zhang, Hengle Qin, Tianshu YU·· 3 天前AI 评分22
AdaGamma：面向强化学习时间自适应的状态依赖折扣方法
AdaGamma: State-Dependent Discounting for Temporal Adaptation in Reinforcement Learning
AI 导读
AdaGamma 是一个用于深度 actor-critic 强化学习的状态依赖折扣框架，通过学习有界折扣函数 γ_φ(s)，并用回报一致性目标训练，避免 TD 误差目标中的退化捷径与 TD-collapse。该方法可集成进 SAC 和 PPO，在连续控制基准上取得提升，并在 JD Logistics 平台为期四周的在线 A/B 测试中获得统计显著收益。
正文 · AI 翻译
摘要：强化学习中的折扣因子同时控制着有效规划视界和自举的强度，然而大多数深度强化学习方法在所有状态上使用单一固定值。状态相关折扣是一种将时间信用分配适配到局部状态结构的自然方式，但在深度 actor--critic 方法中朴素地学习折扣函数会产生一个自指目标：学习到的折扣会缩放同一个自举项，而它正是针对该项进行训练的。因此，基于 TD 误差的目标可能允许一种退化的捷径，即减少目标对下游价值估计的依赖，而不是学习有意义的时间结构。我们提出 \textbf{AdaGamma}，一个用于深度 actor--critic 强化学习中状态相关折扣的实用框架。AdaGamma 学习一个有界折扣函数 \(\gamma_\phi(s)\)，并使用回报一致性目标对其进行训练，该目标将一步自适应自举与使用滞后的、停止梯度的参考折扣计算的多步回报相匹配。这消除了直接操纵目标的路径，并鼓励折扣编码状态相关的价值传播。我们分析了有限表格 MDP 中由固定状态相关折扣诱导的 Bellman 算子，在标准有界性假设下证明了收缩性、精确软策略迭代和 Lipschitz 敏感性。在实证上，AdaGamma 可集成到 SAC 和 PPO 中，避免 TD 崩溃，改进连续控制基准，并在京东物流平台为期四周的在线 A/B 测试中取得统计显著的收益。
| 评论： | 29 页，6 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.06149 [cs.LG] |
| （或 arXiv:2605.06149v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06149 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Yaomin Wang [查看邮箱]
[v1]
2026 年 5 月 7 日星期四 12:42:46 UTC（11,758 KB）
[v2]
2026 年 10 月 11 日星期日 03:53:21 UTC（11,840 KB）
来源：arXiv cs.AI · arxiv.org