arXiv cs.AI· Hui Shan, Keyang Luo, Binjia Zhou, Ming Li, Kai Li, Xin Wang, Zhenyang Li, Zesong Yang, Weikai Chen, Runze Zhang, Xin Wang, Yanwei Fu, Zhen Chen, Xiangru Huang·· 3 天前AI 评分36
Unravel:从单张图像重建可交互 3D 场景
Unravel: Recovering an Interactive 3D Scene from a Single Image
AI 导读
Unravel 是一个免训练框架,能把单张图像转成每个物体都可独立移动的交互式 3D 场景。它先用视觉语言模型规划可见物体、由图像编辑器逐层移除并修复遮挡区域,再按移除的逆序重建场景,并以点云作为空间关系恢复的主要模态。在多种室内场景实验中,Unravel 比现有方法恢复出更多物体、摆放更忠实,场景物理合理性也更高。
正文 · AI 翻译
作者:Hui Shan、Keyang Luo、Binjia Zhou、Ming Li、Kai Li、Xin Wang、Zhenyang Li、Zesong Yang、Weikai Chen、Runze Zhang、Xin Wang、Yanwei Fu、Zhen Chen、Xiangru Huang
摘要:我们提出 Unravel,一个无需训练的框架,可将单张图像转化为可交互的 3D 场景,其中每个物体都是独立且可移动的资产。现有生成器要么生成一个纠缠的几何体,其中任何物体都无法移动,要么在一次前馈过程中预测所有物体,此时错误的猜测无法被检测或修复。Unravel 转而采用不同的方法:它先将场景拆解,再将其重新组装。从输入图像出发,一个智能体式流程迭代地逐层剥离图像,并采用点云作为恢复空间关系的主要模态。具体而言,一个视觉语言模型规划哪些物体完全可见,一个图像编辑器将其移除并恢复被遮挡区域。每次编辑在纳入重建之前都会经过验证。这一过程逐步将场景中被遮挡的部分转化为直接观测,使物体能在其暴露最充分时被重建,而非仅凭原始图像进行幻觉式推断。随后场景按移除的逆序重建,从而支撑物体自然先于其所支撑的物体被放置。由于单视图图像仅揭示物体的一部分,我们将观测到的点视为其尺寸的下界:资产可以扩展以覆盖其点,但不能收缩而偏离这些点。最后,我们对重建场景进行物理沉降以消除悬浮物体和相互穿插,随后进行智能体式审核以修正剩余的放置错误。在多样化的室内场景上的大量实验表明,Unravel 能恢复更多物体、更忠实地放置它们,并生成比现有方法更具物理合理性的场景。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.16146 [cs.CV] |
| (或 arXiv:2610.16146v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.16146 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Hui Shan [查看邮件]
[v1]
2026年10月12日星期一 04:08:17 UTC(35,429 KB)
来源:arXiv cs.AI · arxiv.org