arXiv cs.AI· Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome·· 14 小时前AI 评分35
LAGO：从语言预测潜在目标，用于基于模型的规划
Latent Goal Prediction from Language for Model-Based Planning
AI 导读
LAGO 是一种分层世界模型，用单一预测器同时预测动作条件动态并将语言指令落地为中间潜在子目标序列，两种模式共享同一潜在空间和回归目标。规划时它按语言指令预测子目标序列，用软最小对齐成本优化动作，并随状态演化重新预测子目标。在导航与操作环境中，LAGO 优于扁平及分层图像目标规划器，在弯曲、有危险约束的长程导航中成功率超过同等演示训练的目标条件行为克隆策略两倍以上。
正文 · AI 翻译
摘要：联合嵌入预测架构（JEPA）使智能体能够通过在潜空间中想象候选动作的结果来进行规划，但任务指定仍然是一个瓶颈。视觉目标提供了精确的局部梯度，但远距离引导效果较差；而语言虽然灵活，却受限于噪声较大的跨模态对齐，或依赖于不同的大型生成模型。我们提出了 LAGO（Latent Goal Prediction from Language，从语言预测潜在目标），这是一种分层世界模型，其中单个预测器既能预测以动作为条件的动力学，又能将语言指令作为一系列中间潜在子目标进行接地，并通过在共享潜空间上的单一回归目标来训练这两种模式。在每个规划步骤中，LAGO 根据语言指令预测一系列潜在子目标，并使用软最小值对齐成本来优化动作序列，该成本奖励子目标接近度，但不强制要求严格路径。随着智能体状态演变，子目标会被重新预测，从而将单个长时程指令转化为一系列局部可处理的目标。在涵盖导航和操作的环境中，LAGO 优于扁平式和分层式图像目标规划器，在具有弯曲、受危险约束路径的长时程导航中增益最大，其成功率是使用相同演示训练的目标条件行为克隆策略的两倍以上。将语言接地到世界模型自身的潜空间中也优于视觉-语言奖励模型，包括一个使用真实动力学进行规划的模型。
| Comments: | 10 页。预印本，审稿中 |
| Subjects: | 人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2606.20627 [cs.AI] |
| （或 arXiv:2606.20627v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.20627 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Samuel Barbeau [查看电子邮件]
[v1]
2026 年 5 月 26 日星期二 20:04:33 UTC（13,573 KB）
[v2]
2026 年 10 月 1 日星期四 18:22:31 UTC（14,315 KB）
[v3]
2026 年 10 月 26 日星期一 13:04:59 UTC（17,791 KB）
来源：arXiv cs.AI · arxiv.org