arXiv cs.AI· Yizhen Jiang, Haowei Guo, Tianyi Bai, Zengjie Hu, Lu Ma, Zhengyang Zhao, Haoze Sun, Peng Pei, Wentao Zhang·· 11 小时前AI 评分38
MCPHallu：评测 MCP 智能体推理、执行与记忆幻觉的基准
MCPHallu: Benchmarking Reasoning, Execution, and Memory Hallucinations in MCP Agents
AI 导读
MCPHallu 是面向 MCP 智能体的幻觉评测基准，覆盖推理、执行、记忆三个维度，含 5 个能力域的 358 个任务，运行在 36 个生产级 MCP 服务器上。
正文 · AI 翻译
摘要：大型语言模型智能体越来越多地通过模型上下文协议（MCP）部署，该协议允许它们在运行时跨多个服务器发现并调用工具。现有的 MCP 基准主要衡量任务完成情况；在诊断失败时，它们是在执行之后才进行，而不是在任务构建中内置特定的推理、执行和记忆失败风险。
我们提出 MCPHallu，一个用于沿推理、执行和记忆三个维度诊断 MCP 环境中易产生幻觉的智能体失败的基准。MCPHallu 包含跨五个能力领域的 358 个任务，并在隔离容器中的 36 个生产 MCP 服务器上运行。每个任务都设计有结构性触发条件，使四种失败子类型之一成为主要失败风险：分支崩溃、目标不可达、工具误用或上下文遗忘。这种设计支持子类型级别的分析，而不仅仅是聚合的任务成功率。
我们在 5{,}012 条轨迹上评估了来自 8 家厂商的 14 个前沿 LLM 智能体。当前的 MCP 智能体仍然容易受到诱发幻觉的工具环境的影响，在 $[0,1]$ 量表上平均得分为 0.642（越高越好）。失败集中在目标不可达任务上，平均得分降至 0.458，23.2\% 的运行通过，这表明智能体往往继续发出工具调用或声称成功完成，而不是识别出不可行的目标。子类型排名差异显著：模型在子类型之间的排名平均变动 6.9 个（共 13 个）位次，且分支崩溃与目标不可达在不同模型之间不相关（$r = -0.12$）。MCPHallu 发布于 此 https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.07689 [cs.AI] |
| （或 arXiv:2611.07689v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07689 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yizhen Jiang [查看电子邮件]
[v1]
2026年11月5日星期四 09:14:26 UTC（1,736 KB）
来源：arXiv cs.AI · arxiv.org