arXiv cs.AI· Minghao Fu, Tavis Siebert, Eryk Halicki, Randall Balestriero·· 6 天前AI 评分39
LeWAM：用 JEPA 实现端到端世界模型与动作建模
LeWAM: End-to-End World and Action Modeling with JEPAs
AI 导读
LeWAM 是一个端到端 JEPA 控制模型，联合训练下一隐状态预测与动作流匹配，并对隐状态施加各向同性高斯约束，使单一模型既能直接执行策略，也能用学到的隐动力学评估采样动作进行规划。
正文 · AI 翻译
摘要：联合嵌入预测架构（JEPA）无需像素重建即可学习紧凑的潜在世界模型。现有的 JEPA 流程通常先训练视觉表示和动作条件动力学，然后再添加控制策略或求解器。我们提出 LeWAM，一种用于控制的端到端 JEPA，具有：（1）对下一潜在状态预测和动作流匹配的联合训练目标，以及（2）对潜在状态的各向同性高斯约束，使单一模型能够支持直接策略执行，并通过用其学到的潜在动力学评估采样动作来实现高效规划。与先前用于视觉规划的 JEPA 相比，LeWAM 在接触密集型任务上将成功率从 28.6% 提升至 89.7%，在长时程任务上从 10.9% 提升至 46.2%，且规划速度提升 32.3 倍。在仿真和实体机器人上的行为克隆任务中，LeWAM 也与已有方法相比具有竞争力。可解释性分析表明，LeWAM 学到了与控制相关的表示和动作分布，有效指导测试时的规划与控制。
| 评论： | 项目网站：此 https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.12818 [cs.RO] |
| （或 arXiv:2610.12818v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12818 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Minghao Fu [查看电子邮件]
[v1]
2026年10月8日星期四 23:58:36 UTC（9,184 KB）
来源：arXiv cs.AI · arxiv.org