arXiv cs.AI· Jongsoo Lee, Jangwon Kim, Soohee Han·· 1 天前AI 评分24
DHRL：面向延迟反馈环境的延迟同态强化学习框架
Delayed homomorphic reinforcement learning for environments with delayed feedback
AI 导读
研究者提出延迟同态强化学习（DHRL）框架，基于 MDP 同态在增广状态空间上引入信念等价关系，将控制冗余状态压缩为紧凑抽象状态，统一惠及 actor 与 critic。其深度 actor-critic 实例 D²HPG 在 MuJoCo 连续控制基准上优于强增广基线，长延迟场景尤为明显。有限域下精确抽象可保持最优性并恢复无延迟的样本复杂度阶，近似抽象则给出策略价值损失上界。
正文 · AI 翻译
摘要：现实系统中的强化学习常常涉及延迟反馈，这违反了马尔可夫假设，并阻碍了学习与控制。基于增广的经典方法通过用动作历史增广状态来解决这一问题，但会遭遇状态空间爆炸以及由此带来的样本复杂度负担。尽管近期取得了进展，最先进的基于增广的方法要么主要针对评论家缓解这一负担，要么为演员和评论家采用各自独立的机制。为弥补这一局限，我们提出延迟同态强化学习（DHRL），这是一个基于 MDP 同态的框架，它在增广状态空间上引入信念等价关系，将控制冗余的增广状态折叠为紧凑的抽象状态空间。该框架在确定性动力学下产生精确抽象，在随机动力学下产生近似抽象，提供了一种同时惠及演员和评论家的统一抽象机制。在有限域中，精确抽象保持最优性并恢复无延迟的样本复杂度阶数，而近似抽象则允许对所得策略的价值损失给出界。对于连续域，我们引入深度延迟同态策略梯度（D$^2$HPG），这是 DHRL 框架的一种深度演员-评论家实例化。在 MuJoCo 连续控制基准上的实验表明，D$^2$HPG 优于强大的基于增广的基线，尤其是在长延迟情形下。代码可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.03641 [cs.LG] |
| （或 arXiv:2604.03641v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.03641 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jongsoo Lee [查看电子邮件]
[v1]
2026年4月4日星期六 08:38:52 UTC（1,549 KB）
[v2]
2026年5月2日星期六 05:53:33 UTC（2,406 KB）
[v3]
2026年11月11日星期三 12:51:31 UTC（1,014 KB）
来源：arXiv cs.AI · arxiv.org