跳到正文
arXiv cs.AI· Vukasin Bozic, Isidora Slavkovic, Dominik Narnhofer, Nando Metzger, Denis Rozumny, Konrad Schindler, Nikolai Kalischek·· 10 小时前AI 评分32

PaGeR:用多视图基础模型统一全景几何估计

Unified Panoramic Geometry Estimation via Multi-View Foundation Models

AI 导读

研究者提出 PaGeR(Panoramic Geometry Reconstruction)框架,将面向透视图像的预训练 3D 重建 Transformer 扩展为统一模型,单次前向即可从透视与全景图像预测尺度不变深度、度量深度、表面法线和天空掩码。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:基于透视图像的几何估计已取得巨大进展,成熟到现成的基座模型不仅能够从多视角图像、甚至能够从单视角图像重建 3D 场景结构。一个自然的延伸是从全景图进行 3D 重建,其令人兴奋的前景是从单张全景图像恢复完整的 360 度场景。在这项工作中,我们提出了 PaGeR(Panoramic Geometry Reconstruction,全景几何重建),这是一个将专为透视图像设计的强大 3D 基座模型提升到全景图领域的框架。我们的策略是从一个用于 3D 重建的预训练 transformer 出发,将其转变为一个统一的高性能模型,在单次前向传播中从透视图像和全向图像预测尺度不变深度、度量深度、表面法线和天空掩码。通过将架构改动保持在最低限度,并在训练时混合透视图像和全景图像,PaGeR 保留了底层基座模型丰富的 3D 先验,同时学会从单张全景图估计几何一致的 360 度场景。我们在室内和室外环境中广泛测试了我们的方法,发现它在广泛的场景中实现了最先进的性能和出色的零样本性能。代码、数据和模型可在 $\href{此 https URL}{\text{此处}}$ 获取。
学科: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2605.26368 [cs.CV]
  (或 arXiv:2605.26368v3 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2605.26368

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Vukasin Bozic [查看邮箱]
[v1] 2026 年 5 月 25 日星期一 22:32:42 UTC(42,439 KB)
[v2] 2026 年 5 月 27 日星期三 12:32:56 UTC(42,439 KB)
[v3] 2026 年 11 月 10 日星期二 16:29:03 UTC(32,849 KB)

来源:arXiv cs.AI · arxiv.org