arXiv cs.AI· Seohyun Lee, Jongha Kim, Dohwan Ko, Ji Soo Lee, Seoung Choi, Jayun Ku, Hyunwoo J. Kim·· 11 小时前AI 评分38
MMEnterprise-Bench：评估企业智能体在动态多模态记录上的表现
MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records
AI 导读
研究者推出 MMEnterprise-Bench，一个包含 1,613 道题的企业智能体基准，题目基于模拟协作项目中不断演变的多模态记录，覆盖证据推理、冲突消解和不可回答三类。对 10 个闭源与开源多模态 LLM 的评测显示，即使最强模型在跨来源或时间冲突、以及跨多张图片的证据上也表现吃力。提高检索预算或换用更大的检索器能提升证据召回率，却未稳定转化为更高的答题准确率。
正文 · AI 翻译
摘要：企业智能体需要回答基于工作场所记录的问题，而这些记录会随着团队协作不断演变。当信息在文档、聊天和图表中被共享、更正和修订时，同一信息的多个版本会在工作空间中累积。因此，可靠的问题回答要求智能体基于充分的证据进行推理，解决跨来源和时间上的冲突，并识别出可用证据不足以确定答案的情况。为了系统地评估这些能力，我们推出了 MMEnterprise-Bench，这是一个包含 1,613 个问题的基准，问题基于模拟协作项目中不断演变的多模态记录，涵盖三个类别：证据推理、冲突解决和不可回答性。我们评估了 10 个专有和开源多模态大语言模型，发现即使是最强的模型，在证据包含跨来源或时间冲突、或跨越多个图像时也会表现吃力。此外，增加检索预算或采用更大的检索器可以提高证据召回率，但并不能稳定地转化为更高的答案准确率。这些发现凸显了在演变中的工作场所记录上进行推理所面临的持续挑战，并将 MMEnterprise-Bench 确立为开发更可靠企业智能体的测试平台。代码和数据可在 此 https URL 获取。
| 评论： | 35 页，16 幅图，包括附录。正在审稿中 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.27911 [cs.AI] |
| （或 arXiv:2610.27911v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27911 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Seohyun Lee [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 09:25:35 UTC（5,777 KB）
来源：arXiv cs.AI · arxiv.org