arXiv cs.AI· Tzu-Hsin Hsieh, Ricardo Marroquim·· 10 天前AI 评分24
ElasticFit：基于 VLM 推理与生成式适配的贴合感知 3D 物体插入
ElasticFit: Fit-Aware 3D Object Insertion via VLM Reasoning and Generative Adaptation
AI 导读
ElasticFit 是一个由 VLM 引导的贴合感知 3D 物体插入框架，通过场景锚定表示将语言指令转化为接地位置、占据体积、朝向和适配模式（刚性放置、等比缩放或弹性贴合）等结构化约束，再生成场景条件物体先验并重建为 3D 网格，经模式特定拟合优化并保证避碰、接触一致与物理接地。
正文 · AI 翻译
摘要：将物体插入现有 3D 场景不仅仅需要选择一个合理的位置：插入的物体还必须适配局部几何结构，同时保持语义意图和物理合理性。尽管近期的视觉语言模型（VLM）和生成模型实现了语义推理和视觉内容创作，但当插入的物体必须适配受限的局部空间时，它们提供的 3D 定位和几何控制能力有限。我们提出 ElasticFit，一个由 VLM 引导的适配感知物体插入框架，其核心是一种新颖的场景接地表示。给定语言指令和渲染的场景观测，ElasticFit 推断出结构化的适配线索，指定物体应在何处接地、应占据何种体积、应如何定向，以及其适配模式（刚性放置、均匀缩放或弹性适配）。这些线索将高层次的 VLM 推理转化为显式的 3D 约束，用于条件化物体生成并指导下游的几何适配。随后 ElasticFit 生成场景条件化的物体先验，将其重建为 3D，并通过模式特定的适配对网格进行细化，同时强制避免碰撞、保持接触一致性和物理接地。在固定资产基线对比中，ElasticFit 相比最强基线将空间关系成功率从 50.8% 提升至 69.7%，支撑成功率从 48.3% 提升至 91.7%，同时为复杂场景中的生成式“使其适配”插入提供了新颖的支持。
| 评论： | 已被 NeurIPS 2026 接收。项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07460 [cs.CV] |
| （或 arXiv:2610.07460v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07460 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tzu Hsin Hsieh [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 22:12:18 UTC（47,540 KB）
[v2]
2026 年 10 月 7 日星期三 11:04:28 UTC（47,540 KB）
来源：arXiv cs.AI · arxiv.org