arXiv cs.AI· Guanchen Du, Jinhao Du, Yanpeng Sun, Shan Zhang, Na Zhao, Zechao Li·· 11 小时前AI 评分34
HIJP：无需在线搜索的隐空间规划框架，视觉控制任务成功率 86.8%
Beyond Action Prediction: Learning Search-Free Planning in Latent Space
AI 导读
研究者提出 Hindsight Inverse JEPA Planning（HIJP），用目标条件逆模型直接从当前与目标观测预测动作，替代隐世界模型中昂贵的测试时在线搜索。
正文 · AI 翻译
摘要：潜在世界模型在紧凑的表示空间中学习以动作为条件的状态转移，为视觉规划与控制提供预测模型。然而，使用这些模型进行规划通常需要在测试时对动作序列进行代价高昂的优化。我们提出用一种目标条件逆模型来替代这种在线搜索，该模型直接从当前观测和目标观测预测动作。一个关键挑战是，仅靠动作预测既不能确保目标表示编码了与动作相关的信息，也不能确保预测动作与学习到的潜在预测模型一致。我们提出 Hindsight Inverse JEPA Planning（HIJP），这是一个无需搜索的框架，在训练过程中同时解决上述两方面问题。HIJP 将离线轨迹中未来的观测重新标记为目标，从而在多个时间跨度上提供动作监督。通过保留经过目标表示的梯度，这种监督直接塑造了视觉表示。HIJP 进一步将预测动作输入潜在预测模型，并将得到的下一状态表示与编码后的后继观测对齐，从而强制实现动作-转移一致性。在推理时，逆动力学模型和潜在预测模型交替应用，无需在线搜索即可生成多步动作序列。在四项视觉控制任务中，HIJP 取得了 86.8% 的总体成功率，相比基于搜索的规划实现了 1.9-16.5 倍的规划加速。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.23615 [cs.RO] |
| （或使用 arXiv:2610.23615v1 [cs.RO] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.23615 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guanchen Du [查看邮箱]
[v1]
2026年10月16日星期五 15:26:24 UTC（3,041 KB）
来源：arXiv cs.AI · arxiv.org