arXiv cs.AI· Hengrui Zhang, Yuhu Cheng, C. L. Philip Chen, Xuesong Wang·· 11 小时前AI 评分24
DSP：用扩散模型做子目标规划的长程离线目标条件强化学习框架
Diffusion Subgoal Planning for Long-Horizon Offline Goal-Conditioned Reinforcement Learning
AI 导读
研究者提出扩散子目标规划（DSP），将高层子目标生成建模为引导式生成推理，学习条件流与无条件流并借助无分类器引导在推理时注入目标导向偏置，从而移除高层规划中对价值估计的依赖。在离线 GCRL 基准的导航与操作任务上，DSP 优于此前方法，在需要多步子目标规划的迷宫环境中表现尤为突出。
正文 · AI 翻译
摘要：离线目标条件强化学习（GCRL）从无奖励数据中学习目标导向的策略，但在长时程任务中，目标条件价值函数由于奖励稀疏和折扣，往往提供不稳定的引导。分层方法通过子目标分解部分缓解了这一问题；然而，高层决策仍然依赖于对噪声敏感的价值估计，导致在复杂环境中行为不稳定。我们通过提出 \textbf{D}iffusion \textbf{S}ubgoal \textbf{P}lanning（\textbf{DSP}）来解决这一局限，这是一个基于扩散的高层子目标生成框架。DSP 将高层规划视为对目标条件子目标的引导式生成推理，并学习条件流和无条件流，从而在推理时实现无分类器引导以引入目标导向偏差。通过从高层规划中移除显式的基于价值的引导，DSP 通过生成模型生成可达且目标导向的子目标，同时保留分层执行。在离线 GCRL 基准上的实验表明，DSP 在一系列导航和操作任务上优于先前方法，在需要多步子目标规划的迷宫环境中表现尤为突出。
| 评论： | 31 页，9 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.34575 [cs.AI] |
| （或 arXiv:2609.34575v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.34575 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hengrui Zhang [查看邮箱]
[v1]
2026 年 9 月 28 日星期一 08:22:49 UTC（1,678 KB）
[v2]
2026 年 10 月 20 日星期二 00:56:00 UTC（1,664 KB）
来源：arXiv cs.AI · arxiv.org