arXiv cs.AI· Haobin Duan, Binbin Huang, Mochu Xiang, Yiqun Zhao, Zibo Zhao, Yi Ma, Shenghua Gao·· 14 小时前AI 评分32
GenSfM：用原生 3D 扩散模型实现生成式运动恢复结构
Generative Structure from Motion with Native 3D Diffusion
AI 导读
GenSfM 将基于图像的 3D 重建与原生 3D 扩散模型结合，用多模态扩散 Transformer 在共享自注意力下联合去噪形状隐变量与逐视角位姿隐变量。在 Toys4k 和 GSO 上，仅用 4 个未标定视角，其新视角 PSNR 比强原生 3D 生成基线提升 3.2-4.5 dB，中位 Chamfer 距离降低 2.8-3.8 倍。
正文 · AI 翻译
摘要：从少量未标定视角中恢复物体的 3D 结构和相机运动是计算机视觉中的一个基本问题。经典的运动恢复结构方法能够恢复与输入图像一致的 3D 几何，但无法恢复未观测区域；原生生成方法能生成合理的 3D 物体，这些物体虽有关联，但不一定忠实于输入图像。简单地将重建与生成拼接的方法会让误差在两个阶段间级联，而无法生成同时与分布和输入都一致的 3D 物体。我们提出 GenSfM，它将基于图像的 3D 重建与原生 3D 扩散模型相结合。具体而言，我们使用多模态扩散 Transformer，在共享自注意力下联合去噪形状潜变量和逐视角位姿潜变量，使生成的几何以观测视角为依据，同时利用物体级先验推断未观测区域。紧凑的 3D 原生 UV 体积 tokenization 在增加视角时保持联合序列较小，而位姿感知阶段通过在恢复的相机位姿上采样逐体素图像特征来细化几何与纹理。在 Toys4k 和 GSO 上，对于 $4$ 个未标定视角，GenSfM 相比强原生 3D 生成基线将新视角 PSNR 提升 $3.2$-$4.5$ dB，并将中位 Chamfer 距离降低 $2.8$-$3.8\times$，同时在没有任何外部位姿估计骨干网络、事后优化或已知内参的情况下，以超过 $96\%$ 的 Acc@$5^\circ$ 恢复输入视角位姿。项目页面：this https URL。
| 评论： | 被 NeurIPS 2026 接收。项目页面：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.35522 [cs.CV] |
| （或 arXiv:2610.35522v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35522 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haobin Duan [查看邮箱]
[v1]
2026年10月26日星期一 14:40:40 UTC（28,299 KB）
来源：arXiv cs.AI · arxiv.org