arXiv cs.AI· Yang Zhang, Jiangyuan Zhao, Chenyou Fan, Jiayu Hu, Xiu Yuan, Chenjia Bai, Xiu Li·· 3 天前AI 评分35
V-JEPA Policy：在预测性视觉潜空间上构建世界-动作模型
V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents
AI 导读
V-JEPA Policy 在冻结的 V-JEPA 2.1 编码器潜空间上构建世界-动作模型，总参数 0.9B、可训练 0.6B，在 LIBERO、LIBERO-Plus 和 RoboCasa-GR1 上与代表性 WAM 及视觉-语言-动作基线表现相当。
正文 · AI 翻译
摘要：世界动作模型（WAMs）将未来视觉状态预测与动作生成相结合。通过适配大规模预训练的视频生成器或图像编辑模型，近期一类突出的 WAM 同时继承了预测知识以及学习这些知识的模型。我们提出疑问：由大规模预测性预训练所诱导的预测性视觉潜在空间，是否能够在不继承完整预训练视觉生成模型的情况下，为有效的 WAM 学习提供充分的基础。为回答这一问题，我们提出 V-JEPA Policy，一个在冻结的 V-JEPA 2.1 编码器潜在空间上构建 WAM 的简单框架。一个指令条件化的未来潜在预测器和一个流匹配动作专家在单个下游阶段中从零开始联合学习，其中预测器的未来信息上下文键值状态为动作生成提供条件。V-JEPA Policy 总参数量为 0.9B，其中 0.6B 可训练，在 LIBERO、LIBERO-Plus 和 RoboCasa-GR1 上取得了与代表性 WAM 和视觉-语言-动作基线相当的性能。在相同的下游框架和训练预算下比较视觉基础，发现 V-JEPA 潜在表示比判别式、重建式和面向视频理解的替代方案更有效，尤其是在分布偏移下。除了任务特定学习之外，在无动作标签的 DROID 视频-指令对上预训练预测器并将其适配为 WAM，可在下游控制和分布外泛化方面带来显著提升。总之，这些发现确立了预测性视觉潜在表示作为基础，既能从任务特定演示中进行有效的 WAM 学习，也能迁移从更广泛的野外视频中获得的未来建模知识。项目页面：this https URL
| 评论： | 19 页，5 幅图，11 张表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2609.37250 [cs.CV] |
| （或 arXiv:2609.37250v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.37250 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Yang Zhang [查看电子邮件]
[v1]
2026 年 9 月 29 日星期二 11:03:02 UTC（1,627 KB）
[v2]
2026 年 10 月 10 日星期六 16:52:09 UTC（1,627 KB）
来源：arXiv cs.AI · arxiv.org