arXiv cs.CL· Chanhee Park, Jeongho Yoon, Sungbin Han, Hyeonseok Moon, Heuiseok Lim·· 10 小时前AI 评分40
AgentHop：面向科学引文图谱的智能体多跳问答诊断基准
AgentHop: A Diagnostic Benchmark for Agentic Multi-Hop Question Answering over Scientific Citation Graphs
AI 导读
AgentHop 是一个包含 1,011 道多选题的诊断基准，在固定 token、轮次和工具调用约束下配备七工具沙箱，将单一准确率拆解为检索、综合、工具调用和资源管理四个维度。
正文 · AI 翻译
摘要：智能体任务要求大语言模型与世界交互，在资源受限的情况下通过多个步骤导航信息并收集证据。由于这种复杂性，智能体任务的失败源于多种原因，而精确定位这些失败原因对于诊断和改进智能体系统至关重要。然而，现有基准测试往往只关注单一的排行榜分数，使潜在的失败模式不透明。为填补这一空白，我们推出 AgentHop，这是一个包含 1,011 道多项选择题的诊断基准，配有受控的七工具沙箱，并在固定的 token、轮次和工具调用约束下运行。AgentHop 通过沿智能体运行的四个维度——检索、综合、工具调用和资源管理——拆解单一准确率分数，从而揭示模型漏洞。在 19 个模型中，我们发现行为按模型家族聚类，工具调用特征揭示了不同的家族指纹：GPT 模型过早提交，Anthropic 和 GLM 检查点在提交前进行验证，DeepSeek 和 Kimi 过度搜索，而 Gemini-3 Pro 保持平衡。分解后的维度进一步揭示了家族内部结构：Claude Opus 4.6 和 Sonnet 4.6 的准确率相差不到一个百分点，但在检索与综合的侧重上存在分歧，Opus 检索更多，Sonnet 综合更好。我们发布完整的基准集和测试框架，以支持诊断性智能体基准测试。
| 评论： | 被 NeurIPS 2026 Evaluations and Datasets Track 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.34428 [cs.CL] |
| （或此版本的 arXiv:2609.34428v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2609.34428 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chanhee Park [查看电子邮件]
[v1]
2026年9月28日星期一 06:45:01 UTC（1,016 KB）
[v2]
2026年11月2日星期一 03:48:35 UTC（1,017 KB）
来源：arXiv cs.CL · arxiv.org