ServiceNow 与 McGill 发布 AgentHorizon 基准：LLM 判官难察长程计算机使用任务的细微失误
ServiceNow 与 McGill 发布 AgentHorizon 基准，发现 LLM 判官难察长程计算机使用任务的细微失误
ServiceNow 与 McGill 推出 AgentHorizon 基准，包含来自人工屏幕录制的 1,373 个判官任务，通过交换近同任务的指令构造干净的失败样本。
Rohan Paul· @rohanpaul_ai · X·2026-10-14 17:52· 1 小时前AI 评分54
AI 导读
ServiceNow 和 McGill 的论文推出 AgentHorizon 基准，包含来自人工屏幕录制的 1,373 个判官任务，通过交换近同任务的指令构造干净的失败样本。
正文
ServiceNow 和 McGill 的新论文发现，AI 判官仍会漏掉长时间计算机使用任务中的细微错误，而给它们配备工具也并不能可靠地解决问题。
团队使用 LLM 为智能体运行轨迹打分，用于训练和评估。一次 100 多步的运行可能看起来已经完成，但实际上画错了形状或发到了错误的 Slack 频道。
他们构建了 AgentHorizon，包含来自人工屏幕录制的 1,373 个评判任务。人们录制了近同任务的成对操作并交换指令，因此每个失败都是一次略有不同请求的干净运行。
最佳判官是 Codex 中的 GPT-5.5，在困难划分上取得了 80.9% 的平衡准确率，而总是回答“是”只能得到 50%。Qwen 3.6 27B 在使用工具时表现更差，直接阅读整个运行轨迹得分为 77.6%，而作为智能体时得分为 70.4%。
在信任 LLM 判官评判智能体运行之前，请在你将使用的确切智能体设置中，用近失误失败对它进行测试。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news