Agentic Real2Sim：用视觉语言智能体实现基于物理的世界建模
Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents
研究者提出 Agentic Real2Sim 框架，用视觉语言智能体把真实世界物体-机器人交互录像转化为可仿真的情节孪生，并接入下游策略微调与评估。该框架在刚体操作、可变形物体交互和人形运动场景上完成评测，其智能体决策可由开放权重 VLM 后端驱动，成本仅为前沿模型的一小部分，转换成功率相当。项目站点含代码已公开。
作者：Guanxiong Chen、Qianjun Xia、Jiawei Peng、Heng Zhang、Pengyu Jing、Bole Ma、Justin Qian、Yixian Cheng、Ziyi Jiao、Bingyang Zhou、Yiduo Qu、Luoxin Ye、Kaifeng Zhang、Kunyi Wang、Weijia Zeng、Yunuo Chen、Pengzhi Yang、Ziqiu Zeng、Siyuan Luo、Huamin Wang、Chao Liu、Alan Yuille、Fan Shi、Changxi Zheng、Yunzhu Li、Chenfanfu Jiang、Peter Yichen Chen
摘要：面向机器人物体交互的实到仿（real-to-sim）转换仍然十分耗费人力，因为它所需的远不止视觉重建：一个精简的 real2sim 流程必须恢复场景几何与物体状态、推断物理参数，并将演员、物体、相机、位姿和轨迹组装成一个可运行的物理仿真。如今这一过程仍依赖于视觉感知工具与仿真器之间脆弱的流程衔接：对视觉基础模型的手动调参、网格清理、坐标系对齐等。我们提出 \textit{Agentic Real2Sim}，一个利用视觉语言智能体进行广义物理世界建模的框架，可将真实世界中物体-机器人交互的录制转换为可仿真的情节孪生，并将所得孪生连接到下游的策略微调与评估。我们在刚体物体操作、可变形物体交互和类人运动场景上评估 Agentic Real2Sim，涵盖通常由各自独立的 Real2Sim 流程处理的多个领域。该框架的智能体决策可由开放权重 VLM 后端驱动，成本仅为前沿模型的一小部分，同时达到相当的转换成功率。该框架还支持自定义场景转换、利用转换后情节生成的数据对预训练策略进行微调，并能有效充当真实世界策略评估的替代。项目站点（含代码）见 此 https URL。
| Comments: | Ack and RW updates |
| Subjects: | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.19190 [cs.RO] |
| （或使用 arXiv:2607.19190v5 [cs.RO] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.19190 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guanxiong Chen [查看邮箱]
[v1]
2026年7月21日星期二 15:23:38 UTC（5,364 KB）
[v2]
2026年7月22日星期三 03:43:37 UTC（5,364 KB）
[v3]
2026年7月24日星期五 08:16:46 UTC（5,364 KB）
[v4]
2026年9月16日星期三 05:10:19 UTC（4,387 KB）
[v5]
2026年10月11日星期日 10:33:57 UTC（4,390 KB）
来源：arXiv cs.AI · arxiv.org