arXiv cs.AI· Le Jiang, Xiangyu Bai, Bishoy Galoaa, Shayda Moezzi, Caleb James Lee, Tooba Imtiaz, Edmund Yeh, Jennifer Dy, Yanzhi Wang, Sarah Ostadabbas·· 11 小时前AI 评分38
PanoWorld：几何一致的全景视频世界模型
PanoWorld: Geometry-Consistent Panoramic Video World Modeling
AI 导读
PanoWorld 是一个全景视频世界模型，可从单张图像和一段文字描述生成几何一致的 360° 视频。它在预训练透视视频世界模型基础上引入深度一致性损失和轨迹一致性损失两个轻量正则项，并对条件输入与位置编码做球面几何适配。团队同时发布 PanoGeo 几何感知全景视频数据集，实验显示其几何一致性优于已有全景生成方法，视觉真实感保持竞争力。
正文 · AI 翻译
摘要：我们提出 PanoWorld，一个全景视频世界模型，能够从单张图像和一段文字描述生成几何一致的 360$\degree$ 视频。现有的全景视频方法主要针对视觉真实感进行优化，并未显式约束底层的 3D 场景状态，因此生成的输出看似合理，却在球面上表现出深度不一致、对应关系断裂以及不合理的运动。我们通过将全景视频生成视为一个几何与动态一致的隐状态建模问题，而非纯粹的视觉合成，来填补这一空白。基于预训练的透视视频世界模型，我们引入了两个轻量级正则化器：一个针对伪真值全景深度的深度一致性损失，以及一个监督被跟踪点随时间变化的三维世界坐标系位置的轨迹一致性损失。我们进一步对条件输入和位置编码应用了球面几何感知的适配。我们还引入了 PanoGeo，这是一个统一的几何感知全景视频数据集，在多样的真实与合成来源中具有一致的深度、轨迹和提示标注，用于训练和分层评估。实验表明，PanoWorld 在保持有竞争力的视觉真实感的同时，相比先前的全景生成方法提升了几何一致性，从而确立：全景视频生成必须被视为一个几何建模问题，以支撑具身 AI 应用对整体空间理解的需求。代码可在 this https URL 获取。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.15391 [cs.CV] |
| （或此版本的 arXiv:2605.15391v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2605.15391 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sarah Ostadabbas [查看邮箱]
[v1]
2026年5月14日星期四 20:24:23 UTC（7,755 KB）
[v2]
2026年11月4日星期三 20:47:31 UTC（10,683 KB）
来源：arXiv cs.AI · arxiv.org