arXiv cs.AI· Taeyoung Kim, Junyoung Sung, Heeseung Kwon, Minseop Kim, Jinwoo Shin·· 12 小时前AI 评分32
MoGAP：用运动引导的非对称预测让视频模型适配机器人控制
Adapting Video Models for Robot Control via Motion-guided Asymmetric Prediction
AI 导读
MoGAP 通过运动引导的非对称预测，将视觉监督集中在动态区域，在共享视频扩散骨干内以仅训练用的辅助预测路径与标准视频-动作预测联合训练，无需外部教师模型或额外模态。在 GR-1 桌面基准上，Fast-WAM（Wan2.2-5B）成功率从 38.8% 提升至 47.5%，Cosmos3-Nano 从 52.3% 提升至 62.3%。
正文 · AI 翻译
摘要：世界动作模型（WAMs）利用预训练的视频生成模型进行机器人控制，通过联合预测未来的视觉观测和动作。视觉预测目标在将预训练视频表示适配到目标机器人领域方面起着关键作用。然而，从视频预训练继承的标准视觉预测对所有视觉区域一视同仁，尽管它们与机器人控制的相关性各不相同。因此，我们研究了 WAMs 中视觉监督的空间分配，并表明将监督集中在动态区域可以显著提升策略性能。基于这一发现，我们提出了运动引导非对称预测（MoGAP），它通过聚焦运动的视觉预测来增强 WAM 训练。MoGAP 在不同区域非对称地分配噪声，训练模型利用损坏较少的静态区域作为上下文来重建损坏更严重的动态区域。MoGAP 通过共享视频扩散主干中的仅训练辅助预测路径，与标准视频-动作预测一起训练。它使用直接来自训练视频的运动线索，既不需要外部教师也不需要额外模态。在机器人操作基准和 WAM 架构上，MoGAP 持续提升策略性能，将 GR-1 桌面基准上的成功率从 Fast-WAM（Wan2.2-5B）的 38.8% 提升至 47.5%，并将 Cosmos3-Nano 的 52.3% 提升至 62.3%。
| 评论： | 项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36624 [cs.CV] |
| （或 arXiv:2610.36624v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36624 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Taeyoung Kim [查看电子邮件]
[v1]
2026年10月27日星期二 04:27:20 UTC（2,929 KB）
来源：arXiv cs.AI · arxiv.org