跳到正文
arXiv cs.AI· Hui Shan, Keyang Luo, Binjia Zhou, Ming Li, Kai Li, Xin Wang, Zhenyang Li, Zesong Yang, Weikai Chen, Runze Zhang, Xin Wang, Yanwei Fu, Zhen Chen, Xiangru Huang·· 3 天前AI 评分36

Unravel:从单张图像重建可交互 3D 场景

Unravel: Recovering an Interactive 3D Scene from a Single Image

AI 导读

Unravel 是一个免训练框架,能把单张图像转成每个物体都可独立移动的交互式 3D 场景。它先用视觉语言模型规划可见物体、由图像编辑器逐层移除并修复遮挡区域,再按移除的逆序重建场景,并以点云作为空间关系恢复的主要模态。在多种室内场景实验中,Unravel 比现有方法恢复出更多物体、摆放更忠实,场景物理合理性也更高。

正文 · AI 翻译

作者:Hui Shan、Keyang Luo、Binjia Zhou、Ming Li、Kai Li、Xin Wang、Zhenyang Li、Zesong Yang、Weikai Chen、Runze Zhang、Xin Wang、Yanwei Fu、Zhen Chen、Xiangru Huang

查看 PDF HTML(实验性)

摘要:我们提出 Unravel,一个无需训练的框架,可将单张图像转化为可交互的 3D 场景,其中每个物体都是独立且可移动的资产。现有生成器要么生成一个纠缠的几何体,其中任何物体都无法移动,要么在一次前馈过程中预测所有物体,此时错误的猜测无法被检测或修复。Unravel 转而采用不同的方法:它先将场景拆解,再将其重新组装。从输入图像出发,一个智能体式流程迭代地逐层剥离图像,并采用点云作为恢复空间关系的主要模态。具体而言,一个视觉语言模型规划哪些物体完全可见,一个图像编辑器将其移除并恢复被遮挡区域。每次编辑在纳入重建之前都会经过验证。这一过程逐步将场景中被遮挡的部分转化为直接观测,使物体能在其暴露最充分时被重建,而非仅凭原始图像进行幻觉式推断。随后场景按移除的逆序重建,从而支撑物体自然先于其所支撑的物体被放置。由于单视图图像仅揭示物体的一部分,我们将观测到的点视为其尺寸的下界:资产可以扩展以覆盖其点,但不能收缩而偏离这些点。最后,我们对重建场景进行物理沉降以消除悬浮物体和相互穿插,随后进行智能体式审核以修正剩余的放置错误。在多样化的室内场景上的大量实验表明,Unravel 能恢复更多物体、更忠实地放置它们,并生成比现有方法更具物理合理性的场景。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2610.16146 [cs.CV]
  (或 arXiv:2610.16146v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.16146

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Hui Shan [查看邮件]
[v1] 2026年10月12日星期一 04:08:17 UTC(35,429 KB)

来源:arXiv cs.AI · arxiv.org