arXiv cs.AI· Yunqi Liu, Tong Niu, Zitong Wang, Zhenlong Dai, Yuqi Qing, Weiqiang Wang, Jian Liu·· 9 天前AI 评分24
EgoBench：面向工具使用智能体的交互式第一视角多模态基准
EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents
AI 导读
EgoBench 是首个面向工具使用智能体的交互式多模态基准，包含 1,590 个第一视角视频任务，覆盖五类日常场景，并配套用户-智能体-工具交互环境。该基准通过三阶段协同流水线强制任务同时调用视觉感知与工具增强的多跳推理，并用多智能体模拟用户生成高保真、任务对齐的反馈。在三种交互模式下评测八个视频 MLLM 智能体，最佳模型平均 Joint Success Rate 仅 34.95%。
正文 · AI 翻译
摘要：随着 AI 智能体日益在开放的真实世界环境中运行，它们需要多模态感知、带多跳推理的工具调用以及与用户动态交互的深度协同。然而，现有基准测试无法联合评估这些能力，原因在于设计严格耦合的多能力任务、模拟自然且受任务约束的用户反馈，以及确保对动态交互进行客观评估等方面存在挑战。为弥补这一空白，我们提出了 EgoBench，这是首个面向工具使用智能体的交互式多模态基准测试。EgoBench 包含 1,590 个以第一人称视频为依托的任务，覆盖五个日常场景，并配有用于评估的用户-智能体-工具交互环境。我们实现了一个三阶段协同流水线，通过该流水线，每个任务都被设计为强制联合应用视觉感知与工具增强的多跳推理。我们还开发了一个多智能体模拟用户来评估智能体的交互能力，该模拟用户会向智能体生成高保真、与任务对齐的响应。此外，我们建立了一个确定性联合验证框架，通过基于过程和基于结果的等价性来保证客观评估。在 EgoBench 上对八个视频-MLLM 智能体进行基准测试，揭示出严重的性能天花板：表现最好的模型在三种交互模式下的平均联合成功率仅为 34.95%。最后，我们进行了多维度的错误分析，以厘清失败模式，揭示出推进未来 AI 智能体发展的能力瓶颈。
| 评论： | 已被 NeurIPS 2026 接收。定稿版本 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.27820 [cs.AI] |
| （或本版本的 arXiv:2605.27820v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2605.27820 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tong Niu [查看电子邮件]
[v1]
2026年5月27日星期三 01:28:15 UTC（10,613 KB）
[v2]
2026年10月8日星期四 09:38:28 UTC（8,060 KB）
来源：arXiv cs.AI · arxiv.org