arXiv cs.AI· Jinzhou Tang, Zijun Zhang, Jing Yang, Yuchen Yan, Kun Zhou, Lingjun Mao, Ruobing Han, Jinglin Cao, Wenpeng Xu, Lukun He, Minghao Fu, Fan Feng, Biwei Huang·· 6 天前AI 评分37
Video2World：用具身视频评测编码智能体的交互式世界建模能力
Video2World: Benchmarking Coding Agents for Interactive World Modeling from Embodied Videos
AI 导读
研究者提出 Video2World 基准，包含来自 189 段机器人与人类演示视频的 222 个重建实例，将"自主视频到仿真"定义为软件工程任务，从几何保真度、动态保真度和功能正确性三方面评测。在 9 个前沿编码智能体系统中，从 Claude Opus 5 开始任务成功率由不足 5% 升至超过 15%，但与人类辅助重建仍有明显差距。研究还发现视觉保真度更高并不总带来更高任务成功率。
正文 · AI 翻译
作者：Jinzhou Tang、Zijun Zhang、Jing Yang、Yuchen Yan、Kun Zhou、Lingjun Mao、Ruobing Han、Jinglin Cao、Wenpeng Xu、Lukun He、Minghao Fu、Fan Feng、Biwei Huang
摘要：从真实世界观测中构建交互式模拟器是扩展具身数据的一种有前景的方式，但当前的流程仍然严重依赖人工环境构建与校准。我们研究前沿基础模型和编码智能体能否端到端地自动化这一过程。我们将 \emph{自主视频到模拟} 形式化为一项软件工程任务，其中智能体观察一段具身视频，构建相应的模拟环境和机器人行为，并通过执行反馈迭代改进结果。为评估这一能力，我们提出了 \textbf{Video2World}，一个包含 222 个重建实例、源自 189 个机器人和人类演示视频的基准。Video2World 从几何保真度、动态保真度和功能正确性三个方面衡量重建的世界，涵盖空间感知、物理推理和可执行交互。对 9 个前沿编码智能体系统的评估显示，从 Claude Opus 5 开始任务成功率出现显著提升，从低于 5\% 上升到超过 15\%，但与人工辅助重建之间仍存在巨大差距。我们进一步发现，看起来更好的世界可能运行得更差：更好的视觉保真度并不总能带来更高的任务成功率。这与生成模型中观察到的感知真实感与事实正确性之间更广泛的差距相呼应。
| Comments: | 项目页面：this https URL |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.04432 [cs.CV] |
| （或 arXiv:2610.04432v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.04432 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jinzhou Tang [查看邮箱]
[v1]
2026年10月3日星期六 10:46:52 UTC（42,988 KB）
[v2]
2026年10月7日星期三 16:40:14 UTC（31,270 KB）
[v3]
2026年10月9日星期五 05:21:02 UTC（31,270 KB）
来源：arXiv cs.AI · arxiv.org