arXiv cs.AI· Jialiang Liu, Shusheng Li, Wenjun Tan·· 2 天前AI 评分34
LongSearchEval：用轨迹感知智能体框架评估大语言模型长程网页搜索能力并定位失败节点
LongSearchEval: Evaluating Long-Horizon Web Search Capabilities of Large Language Models via a Trajectory-Aware Agent Framework with Failure-Node Localization
AI 导读
研究者提出 LongSearchEval，一个轨迹感知的智能体评测框架，结合统一执行协议、来源约束的结果验证与回溯式失败节点定位，无需人工金标准答案即可核验答案组。该框架在 100 个任务上评测了 8 个模型家族的 16 个模型，保留 1,600 条真实交互轨迹并自动标记 6,545 个失败节点。人工验证显示答案组标签一致率 94.50%，审计轮次与答案组链接的特征对应精确率 98.11%。
正文 · AI 翻译
摘要：长程网络搜索要求基于 LLM 的智能体在任务特定约束下通过扩展交互整合跨网页信息。评估这一能力不仅对衡量最终答案质量很重要，而且对评估智能体是否在扩展交互中可靠地获取、验证和使用证据也很重要。然而，现有评估主要依赖模拟轨迹或从最终答案事后重建的轨迹，而不是保留的真实交互轨迹，这限制了行为评估的保真度，并削弱了对细粒度错误定位的支持。为弥补这一空白，我们引入了 LONGSEARCHEVAL，这是一个轨迹感知的智能体评估框架，它将统一的智能体执行协议与源约束的结果验证和回溯性失败节点定位相结合。第 1 阶段在无人工编写金标准答案的情况下，依据智能体引用的网页验证答案组；第 2 阶段审计归一化轮次，并将标记的失败节点关联到错误答案组。我们在 100 个任务上评估了来自八个家族的 16 个模型，产生了 1,600 次保留运行和 6,545 个自动标记的失败节点。轨迹收集和评估分别需要 1,037 和 318 小时的累计运行时间。人工验证在提供的答案组标签上达到 94.50% 的一致性，在审计的轮次-组链接上达到 98.11% 的特征对应精确率。结果分数与关联的轨迹证据共同支持受控模型比较和对答案相关内容的事后检查。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.35150 [cs.AI] |
| （或 arXiv:2610.35150v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35150 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shusheng Li [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 10:15:38 UTC（8,834 KB）
来源：arXiv cs.AI · arxiv.org