跳到正文
arXiv cs.AI· Yuguang Li, Yichuan Deng, Zixuan Liu, Ivaylo Boyadzhiev, Xiuyuan Wu, Xinyu Zou, Linda Shapiro, Alex Colburn·· 3 天前AI 评分22

MvFFN:面向无位姿宽基线全景图的室内布局重建前馈网络

MvFFN: Multi-view Floor plan Feed-forward Network for Unposed Wide-Baseline Panorama Layout Reconstruction

AI 导读

针对稀疏、无位姿、宽基线 RGB 全景图难以重建相机位姿与户型图的问题,研究者提出 MvFFN,联合预测粗略相机位姿、稠密全局几何与逐墙语义输出,并通过 Layout Chaining 后处理组装出共享全局坐标的多房间户型图。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:从稀疏、无位姿、宽基线的 RGB 全景图中重建准确的相机位姿和户型图布局仍然是一个具有挑战性的开放问题。在这种设定下,直接进行多房间户型图预测尤其困难:位姿、几何、语义和全局布局结构紧密耦合,而完整的户型图很难作为单一全局输出进行学习。我们的关键洞见是让模型的预测严格保持局部性。多视图有序墙体实例分割(MOIS)正是围绕这一理念设计的。每个全景图列仅预测其观测到的墙体以及按顺时针方向相邻的下两面墙。全局墙体划分、房间布局和共享坐标则通过对重叠局部预测的确定性聚合而涌现。在 MOIS 的基础上,我们提出了多视图户型图前馈网络(MvFFN),它联合预测粗略相机位姿、稠密全局几何以及每面墙的语义输出。随后,一个下游的布局链式(LC)后处理流水线将这些预测组装成具有共享全局坐标、一致墙体身份和连通房间结构的多房间户型图。与组合式模块化基线相比,稠密的 MOIS 预测能更准确地恢复跨视图墙体身份和房间内局部连通性,并且组装出的布局在墙体和连接点级别的准确率上大幅优于先前方法。我们还引入了 ZInD-CrossView 数据集,它为 ZInD 增加了全局唯一墙体实例和跨视图分割标签,以用于该任务。
评论: 被 NeurIPS 2026 接收
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2610.14315 [cs.CV]
  (或 arXiv:2610.14315v2 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.14315

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Yuguang Li [查看电子邮件]
[v1] 2026年10月9日星期五 20:53:22 UTC(12,785 KB)
[v2] 2026年10月14日星期三 01:40:37 UTC(12,785 KB)

来源:arXiv cs.AI · arxiv.org