arXiv cs.AI· Akshay Krishnan, Matias Turkulainen, Jamie Wynn, Zawar Qureshi, Mohamed Sayed, Guillermo Garcia-Hernando, Sara Vicente, James Hays, Michael Firman, Daniyar Turmukhambetov·· 12 小时前AI 评分23
GroundControl：卫星图像条件化的多视图扩散模型，无需重建实现新视角合成
GroundControl: Satellite-Conditioned Multi-View Diffusion for Reconstruction-Free Novel View Synthesis
AI 导读
GroundControl 提出一种卫星条件化多视图扩散模型，将卫星图像与街景输入图像结合来生成新视角，无需 3D 场景重建，仅依赖带位姿的街景与卫星视图。其基于 cross-attention 的条件注入保留了预训练多视图扩散先验，在户外数据集的新视角合成上优于仅卫星条件或仅街景条件的基线，尤其在目标视图与源视图重叠极少的困难场景中表现更佳。该工作已被 WACV 2027 接收。
正文 · AI 翻译
摘要：多视图或视频扩散模型最近已成为从稀疏图像集合进行新视图合成的最先进方法。虽然它们能生成高质量图像，但在合成输入视图之外的视图（场景外推）时，往往会产生不真实的幻觉空间布局。我们提出通过使用卫星图像作为附加信息源来对多视图生成模型进行条件化，以应对户外场景中的这一挑战。我们引入了一种新的卫星条件多视图扩散模型，在生成新视图时结合卫星图像和街景输入图像的条件。我们基于交叉注意力的条件化方式使我们能够保留预训练的多视图扩散先验，从少量源视图生成无缝、逼真的新视图，同时遵循卫星图像中所见的场景布局。我们的模型不使用 3D 场景重建，仅依赖带位姿的街景和卫星视图。我们在户外数据集上的实验表明，我们的模型在新视图合成方面优于卫星条件或街景条件的基线，尤其是在目标视图与源视图重叠很少的挑战性情况下。项目页面：this https URL
| Comments: | 已被 WACV 2027 接收。项目页面：this https URL |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.37545 [cs.CV] |
| （或 arXiv:2610.37545v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37545 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Akshay Krishnan [查看邮箱]
[v1]
2026年10月27日星期二 16:56:45 UTC（18,758 KB）
来源：arXiv cs.AI · arxiv.org