arXiv cs.AI· Rundong Luo, Yunong Liu, Di Cao, Matthew Tancik, Shyamal Buch, Colton Stearns, Wenqi Xian·· 12 小时前AI 评分38
SceneRig:从单张图像重建可仿真 3D 场景的智能体系统
SceneRig: An Agentic System for Simulation-Ready 3D Scene Reconstruction from Single Images
AI 导读
SceneRig 是一个智能体系统,可将单张图像重建为可编辑、可直接用于仿真的 3D 场景。它结合几何、视觉与物理工具,并让智能体在物理模拟器内执行“编辑—验证”循环以获得物理稳定性,在实例分割、物体外观与 3D 摆放上均有提升。该系统生成场景对真实机器人策略结果的预测比基线方法更准确,并能更可靠地回放已录制的操作轨迹而无需调整轨迹。
正文 · AI 翻译
摘要:仿真对机器人学而言是强大的工具,但大规模构建多样化、可直接用于仿真的场景仍然困难。从单张图像重建场景是一种有前景的替代方案,但仅靠视觉相似性并不足够:物体还必须被恢复、准确放置,并具备物理基础。现有依赖事后物理沉降的方法常常会错误放置物体,产生看起来正确但在操作下表现不佳的场景。我们提出 SceneRig,一个将单张图像转化为可编辑、可直接用于仿真的场景的智能体系统。SceneRig 结合几何、视觉和物理工具来重建逼真的 3D 场景。随后,一个智能体在物理模拟器内执行编辑与验证循环,以实现物理稳定性。在多样化的输入下,SceneRig 改进了实例分割、以物体为中心的外观和 3D 放置,同时保持重建场景的物理稳定性。此外,SceneRig 对下游机器人任务有效:其场景比基线方法更准确地预测真实机器人策略的结果,并更可靠地支持回放已记录的操控操作而无需轨迹适配。
| 评论: | 已被 CoRL 2026 Agentic Robotics Workshop 接收。项目页面:此 https URL |
| 主题: | 机器人学(cs.RO);人工智能(cs.AI);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2610.28585 [cs.RO] |
| (或 arXiv:2610.28585v1 [cs.RO] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.28585 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Rundong Luo [查看邮箱]
[v1]
2026年10月20日星期二 17:39:42 UTC(42,884 KB)
来源:arXiv cs.AI · arxiv.org