FloMo：用3D场景流连接视频预训练与机器人动作
热点事件持续更新
FloMo：用3D场景流连接视频预训练与机器人动作
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Jeremy Collins 等作者发布 FloMo：一个 5B 视频生成模型，经微调后同时预测 3D 场景流与动作 token，把场景流渲染为 RGB 并编码进与视频相同的 latent 空间，使预训练视频生成骨干能适配 3D 场景流预测。模型在无动作人类视频与带动作标注的机器人遥操作数据上联合训练，作者称其可泛化到未见物体、运动基元与任务。 实验显示，用视频预测目标替代运动预测会削弱分布外泛化；而同时加入视频预测目标反而降低策略成功率。
AI 根据报道生成 · 47 分钟前更新
最新进展11月5日 13:00
FloMo：以 3D 场景流作为世界动作模型中间表示，从人类视频中学习报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.AIFloMo：以 3D 场景流作为世界动作模型中间表示，从人类视频中学习
FloMo 是一个 5B 视频生成模型，经微调后预测 3D 场景流与动作 token，将场景流渲染为 RGB 并编码进与视频相同的 latent 空间，使预训练视频生成骨干能高效适配 3D 场景流预测。模型在无动作人类视频与带动作标注的机器人遥操作数据上联合训练，可泛化到未见物体、运动基元与任务。实验显示用视频预测目标替代运动预测会削弱分布外泛化，而同时加入视频预测目标反而降低策略成功率。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。