arXiv cs.AI· Yunzhe Hu, Dong Xu·· 11 小时前AI 评分31
VPFlow：用不完美世界模型做价值预测规划，实现离线目标到达
VPFlow: Value-Predictive Planning with Imperfect World Models for Offline Goal Reaching
AI 导读
VPFlow 提出以价值预测替代状态预测的离线目标到达规划方法，在 30 个 OGBench 状态与像素数据集上成功率分别至少超过无模型基线 30.3 和 10.1 个百分点，并优于 LeWorldModel、PLDM、TD-MPC2 等潜空间规划器。
正文 · AI 翻译
摘要：离线目标条件强化学习能够通过从任意状态到达任意目标来获取技能，而无需稠密奖励。基于模型的方法通过扩展测试时计算量进行规划，以解决复杂任务。将两者结合，有望在次优演示数据上进行预训练，并通过目标指定和规划实现零样本适应。然而，现有方法假设有效规划需要在像素空间或潜空间中进行准确的下一状态预测。在本工作中，我们表明价值预测对规划更有用，而准确的状态预测往往并不必要。我们的关键洞见是，离线目标到达天然允许闭式蒙特卡洛回报，从而使价值回归能够替代时序差分自举。我们将该回报作为潜世界模型的唯一监督信号：想象的潜变量被训练来预测目标到达价值，而非匹配未来状态，从而隐式地防止表示坍缩。这些面向规划的表示使不完美的世界模型能够在价值场的水平集上想象超出数据集转移的轨迹。随后我们提出 VPFlow，一种价值预测规划器，它将世界模型与一步流策略配对，并通过进化搜索在其噪声空间中进行规划。它利用想象出的广义优势实现策略改进，并减少动作空间规划中常见的分布外查询。在 30 个状态和像素 OGBench 数据集上，VPFlow 的成功率分别至少超过无模型基线 30.3 和 10.1 个百分点，并优于潜空间规划器 LeWorldModel、PLDM 和 TD-MPC2。尽管其潜预测误差比状态预测大数个数量级，它仍实现了这一结果，而最小化该误差反而会降低成功率。这表明离线规划所需要的是价值预测表示，而非精确的状态预测。
| 评论： | 32 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27280 [cs.LG] |
| （或 arXiv:2610.27280v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27280 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yunzhe Hu [查看邮箱]
[v1]
2026 年 10 月 19 日星期一 20:55:03 UTC（3,090 KB）
来源：arXiv cs.AI · arxiv.org