arXiv cs.AI· Yuhao Lu, Jiongxu Chen, Hexiang Wei, Jiajin Wu, Juelin Li, Mingjian Liang, Fan Yang, Zhuowei Liang, Zihao Liu, Zhennan Wang, Sheng Wang, Lin Shao·· 13 小时前AI 评分38
WorldFlow：通过大规模预训练联合预测视频与 3D 运动
WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining
AI 导读
WorldFlow 是一个生成式世界模型，可同时预测未来视频与基于查询的 3D 轨迹，通过将 3D 运动参数化为与视频网格对齐的连续位移 token，并用统一的 Mixture-of-Transformers（MoT）骨干在 rectified-flow 目标下联合去噪两种模态。
正文 · AI 翻译
作者：Yuhao Lu、Jiongxu Chen、Hexiang Wei、Jiajin Wu、Juelin Li、Mingjian Liang、Fan Yang、Zhuowei Liang、Zihao Liu、Zhennan Wang、Sheng Wang、Lin Shao
摘要：预测未来的物理状态是具身智能中的核心挑战。现有的视频世界模型将 3D 动态隐含其中，基于动作的表述仍受限于特定的机器人配置，而 3D 运动预测模型仅使用光流监督，为物理动态提供的学习信号有限。为规避这些局限，我们提出 \method{}，一种生成式世界模型，可联合预测未来视频与基于查询的 3D 轨迹。通过将 3D 运动参数化为与视频网格对齐的连续位移 token，一个统一的 Mixture-of-Transformers（MoT）主干在 rectified-flow 目标下对两种模态联合去噪。该表述将显式几何动态与视觉演化耦合，有效释放了预训练视频模型中蕴含的物理常识。为在实证上扩展并验证这一统一架构，我们在涵盖仿真与真实世界领域的 144 万个对象级样本的异构混合数据上训练 \method{}。我们进一步提出 WorldFlowBench，包含来自 11 个数据源的 1,678 个评估样本，覆盖仿真与真实世界交互，包括空间推理任务。在所有三个评估集上，WorldFlow 在所评估的基于学习的方法中取得了最低的平均位移误差（ADE）和最终位移误差（FDE）。值得注意的是，在具有挑战性的 SpatialCog 集上，WorldFlow 的 ADE 达到 0.060 m，与最强外部基线相比降低了 54.2\%。与其仅光流变体相比，它还将 ADE 和 FDE 分别降低了 55.9\% 和 68.5\%。项目页面：this https URL。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.39278 [cs.CV] |
| （或 arXiv:2610.39278v1 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.39278 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Yuhao Lu [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 03:30:27 UTC（14,266 KB）
来源：arXiv cs.AI · arxiv.org