arXiv cs.AI· Jeremy Collins, Namra Patel, Ayush Agarwal, Shitij Govil, Animesh Garg·· 10 小时前AI 评分42
FloMo：以 3D 场景流作为世界动作模型中间表示，从人类视频中学习
FloMo: 3D Scene Flow as a World Action Model Intermediate for Learning from Human Video
AI 导读
FloMo 是一个 5B 视频生成模型，经微调后预测 3D 场景流与动作 token，将场景流渲染为 RGB 并编码进与视频相同的 latent 空间，使预训练视频生成骨干能高效适配 3D 场景流预测。模型在无动作人类视频与带动作标注的机器人遥操作数据上联合训练，可泛化到未见物体、运动基元与任务。实验显示用视频预测目标替代运动预测会削弱分布外泛化，而同时加入视频预测目标反而降低策略成功率。
正文 · AI 翻译
摘要：预训练视频生成模型将互联网规模的运动先验蒸馏到机器人策略中，但完整视频对于动作预测而言是冗余信号。我们认为，稠密 3D 运动是视频预训练向机器人动作迁移的最佳媒介，并且预测运动而非视频能为动作预测带来更好的样本效率。FloMo 是一个 5B 视频生成模型，经微调以预测 3D 场景流和动作 token。将场景流渲染为 RGB 并将其编码到与视频相同的潜空间中，使预训练视频生成骨干能够高效地适应预测 3D 场景流。我们的模型在无动作人类视频和带动作标注的机器人遥操作数据上联合训练，受益于人类视频预训练，并能泛化到未见过的物体、运动基元和任务。将运动预测替换为视频预测目标会降低分布外泛化能力，而在运动之外增加视频预测目标会降低策略成功率而非提升它。当联合预测运动、视频和动作时，动作 token 对运动的关注远多于对视频的关注，这表明预测视频浪费了模型容量。总之，这些结果表明运动有效地中介了从视频预训练到动作的迁移。更多信息见 此 http URL。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05062 [cs.CV] |
| （或 arXiv:2611.05062v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05062 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shitij Govil [查看邮箱]
[v1]
2026年11月3日星期二 15:25:35 UTC（725 KB）
[v2]
2026年11月4日星期三 03:57:24 UTC（725 KB）
来源：arXiv cs.AI · arxiv.org