arXiv cs.AI· Shashank Hegde, Alexander Popov, Elie Aljalbout, Nikolai Smolyanskiy·· 9 天前AI 评分21
LeWAM：基于扩散引导 MPC 的 JEPA 世界动作模型
LeWAM: A JEPA World Action Model with Diffusion-Steering-Based MPC
AI 导读
LeWAM 是一个双向 Transformer 世界动作模型，在无解码器的 JEPA 潜空间上端到端训练，可同时完成前向、后向、逆动力学与策略预测。其潜空间在线性探针下读取机器人与物体状态优于 LeWM，且与同规模 flow-matching 策略的闭环表现相当。规划时在策略头的噪声空间采样，比直接采样原始动作更能提升闭环性能。
正文 · AI 翻译
摘要：世界动作模型（WAM）预测动作和未来观测，通常基于一种重建式表示，这种表示携带噪声和冗余信息，可能使下游预测变得复杂。我们提出 LeWAM，一种用于前向、后向、逆动力学和策略预测的双向 Transformer，基于无解码器的 JEPA 潜在表示，并通过全部四种模式端到端训练。我们看到以下优势：1）对齐：线性探针从 LeWAM 的潜在表示中读取机器人和物体状态的效果优于常规 Le World Model（一种仅前向的 JEPA 世界模型），同时该潜在表示对视觉干扰因素的忽略程度与 LeWM 相当，且远优于基于重建的 WAM。2）行动：LeWAM 的闭环评估在相同规模下与在同一编码器上训练的常规流匹配策略相当，同时还提供了一个世界模型。3）规划：在使用 WAM 进行规划时采样原始动作会让 MPC 利用动力学模型的不准确性；而在策略头的噪声空间中进行规划则能提升这些 WAM 的闭环性能。
| Comments: | 14 页，6 幅图 |
| Subjects: | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| Cite as: | arXiv:2610.12407 [cs.RO] |
| （或使用 arXiv:2610.12407v1 [cs.RO] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.12407 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shashank Hegde [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 17:46:03 UTC（2,366 KB）
来源：arXiv cs.AI · arxiv.org