arXiv cs.AI· Liyuan Zhu, Shengyu Huang, Amrita Mazumdar, Tianye Li, Zan Gojcic, Gordon Wetzstein, Iro Armeni, Shalini De Mello, Alex Trevithick·· 11 小时前AI 评分35
World from Motion：从单目视频生成动态 3D 高斯重建
World from Motion: Generative Dynamic Gaussian Reconstruction from Monocular Video
AI 导读
World from Motion 提出一种从单目视频生成可自由渲染动态 3D 高斯表示的方法，通过让视频模型以像素对齐的稠密渲染为条件，修正初始重建的伪影并补全缺失区域。该方法构建了对齐多视角视频对与动态 3DGS 数据集，测试时将生成结果蒸馏回单一一致的动态 3DGS，在 4D 重建上取得新的 SOTA，并可泛化到视角变化大、运动剧烈的野外视频。
正文 · AI 翻译
摘要：我们提出 World from Motion，一种从单目视频生成可自由渲染的动态 3D 高斯表示的方法。我们的方法以密集、像素对齐的渲染结果为条件来驱动视频模型，这些渲染结果编码了沿输入相机轨迹和目标相机轨迹的外观、几何与 3D 场景运动，从而修正渲染伪影并补全初始重建中缺失的区域。为训练该模型，我们构建了一个由对齐的多视角视频对和动态 3DGS 表示组成的数据集，其中包含单目重建特有的模拟伪影。在测试时，我们将模型的生成结果（包括新观测到的区域和运动）蒸馏回单个一致的高质量动态 3DGS，从而同时改进新视角合成和底层的 3D 运动。我们的方法在 4D 重建上达到了新的最先进水平，并能无缝泛化到具有大视角变化和动态运动的野外视频。
| 评论： | NeurIPS 2026 相机就绪版。项目页面：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；图形学（cs.GR） |
| 引用为： | arXiv:2607.01202 [cs.CV] |
| （或 arXiv:2607.01202v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.01202 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Liyuan Zhu [查看邮箱]
[v1]
2026年7月1日星期三 17:41:00 UTC（6,531 KB）
[v2]
2026年10月23日星期五 04:36:58 UTC（13,196 KB）
来源：arXiv cs.AI · arxiv.org