Dual Exam：多模态智能体与世界模型的受控评测基准
Dual Exam: Controlled Evaluation of Multimodal Agents and World Models
Dual Exam 基准将多模态智能体与世界模型的评测分离：智能体赛道在固定环境响应机制下比较 10 种配置、覆盖 1,088 个条目，世界模型赛道包含 8 个场景共 400 个案例。
作者：Zhefan Rao、Meng Chu、Xuan Billy Zhang、Jingfan Chen、Guohao Cai、Runyi Li、Shiyi Du、Xu Huang、Ning Lu、Trusure Chen、Feng Nie、Zhenhao Liang、Haodong Chen、Hanwen Wang、Wenjie Shu、Yajing Bai、Xianfeng Wu、Xuanhua He、An Wang、Shuhan Guo、Ziyue Ma、Ruichuan An、Long Bai、Miaosen Chai、Wenhao Chai、Jingye Chen、Qi Chen、Xuhang Chen、Wei Chow、Minghao Fu、Shenyuan Gao、Yunhao Gou、Haokun Gui、Dong Huang、Wei Huang、Zi Cheng Huang、Ziyan Jiang、Haibo Jin、Lingdong Kong、Leung Chun Ho、Tianqin Li、Yanheng Li、Jiayuan Liu、Jiyang Liu、Mingyu Liu、Shaoteng Liu、Xiaocheng Lu、Yawen Luo、Zeyu Qin、Tiancheng Shen、Yueqi Song、Zhaolong Su、Hengkai Tan、Tianhao Tang、Yiran Tao、Juncheng Wang、Qinghe Wang、Shangshang Wang、Yingying Wang、Fang Wu、Tiange Xiang、Qiushi Yang、Weicai Ye、Weichen Yu、Jiarui Zhang、Jize Zhang、Liuzhou Zhang、Renrui Zhang、Sheng Zhang、Wenhu Zhang、Junru Zhao、Lingting Zhu、Xi Zhu、Yuxin Zuo、Yutong Bai、Qifeng Chen、Long Chen、Yang Deng、Ziqi Huang、Yeying Jin、Weijia Li、Kevin Qinghong Lin、Quande Liu、Dimitris Metaxas、See-Kiong Ng、Hongliang Ren、Hongru Wang、Gerbrand Ceder、Shujun Wang、Ming-Hsuan Yang、Alan Yuille、Haoxuan Che
摘要：世界模型（WM）可以通过模拟经验支持多模态智能体（MA），而智能体的轨迹又能为世界模型的改进提供信息。评估这种交互需要分别获得关于动作选择与状态演化的证据。我们提出 Dual Exam，在固定环境响应机制下测试智能体，并在固定动作干预下跨物理、数字、社交和科学领域测试世界模型。智能体赛道在 15 个报告类别中对 1,088 个项目比较了 10 种配置。世界模型赛道包含八个场景下的 400 个案例；15 种配置实现全覆盖，一种覆盖六个场景。GPT 6 Astra 以 31.3 领跑按案例加权的智能体指数，GPT-Image-2 以 21.7 领跑全覆盖 WM 总分。这些分数使用不同的任务和指标，不可直接比较。对一个耦合配对进行的 150 案例试点记录到零任务成功，并推动开展组件级诊断。结果揭示了任务表现不均衡以及无法保持任务相关状态的问题。它们对预测耦合成功或持续互惠学习的价值仍有待确立。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.31066 [cs.AI] |
| （或 arXiv:2610.31066v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.31066 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guohao Cai [查看邮箱]
[v1]
2026年10月22日星期四 10:44:35 UTC（44,362 KB）
[v2]
2026年10月28日星期三 02:34:27 UTC（45,597 KB）
来源：arXiv cs.AI · arxiv.org