arXiv cs.AI· Jai Bardhan, Josef Sivic, Vladimir Petrik·· 10 天前AI 评分27
DepthWorld：面向机器人操作的 3D 世界模型
DepthWorld: 3D World Model for Robot Manipulation
AI 导读
DepthWorld 是一个基于 Stable Video Diffusion 的 3D 世界模型，通过空间隐变量分块联合预测多视角 RGB 与深度，且不改动预训练 VAE。
正文 · AI 翻译
摘要：世界模型为机器人学提供了一种数据驱动的传统模拟器替代方案，其应用涵盖策略评估、改进与规划。所有这些用途都依赖于忠实的三维几何，然而当前基于视频的世界模型仅使用 RGB 进行训练，生成的推演逐帧看似正确，却无法组合成一个一致的三维世界。弥合这一差距需要在两个方面取得进展：面向操作的大规模三维监督，以及一种能够吸收这些监督而不破坏强大预训练视频先验的架构。我们提出了一种标定流程，将学习到的立体深度与联合因子图相结合，汇集从同一台物理机器人收集的所有回合，以恢复其共享的运动学参数以及每个场景的外参。将其应用于 DROID 数据集，得到了 DROID-3D，这是一个经过标定的三维数据集，提供密集的度量深度和重新标定的多视角外参（在 90% 的回合中，外部相机重投影误差 <0.7 px）。随后我们训练了 DepthWorld，这是一个基于 Stable Video Diffusion 的世界模型，通过空间潜在分块联合预测多视角 RGB 和深度，同时保持预训练的变分自编码器（VAE）不变。在相同训练预算下，深度监督使 RGB 预测本身相比仅使用 RGB 的相同基线提升了 +1.48 dB PSNR，同时为下游几何推理产生准确的度量深度。
| 评论： | 被机器人学习会议（CoRL）2026 接收。项目页面：此 https URL。32 页，包括补充材料，15 张图，7 张表 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.08780 [cs.RO] |
| （或 arXiv:2610.08780v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08780 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jai Bardhan [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 17:59:00 UTC（43,670 KB）
来源：arXiv cs.AI · arxiv.org