arXiv cs.AI· Xing Han L\`u, Dheeraj Vattikonda, Sina Hajimiri, Fatemeh Pesaran Zadeh, Parishad BehnamGhader, Ghazwa Darwiche, Amirhossein Kazemnejad, Christopher Pal, Alexandre Drouin, Siva Reddy·· 9 天前AI 评分26
AgentHorizon：评估长周期计算机使用任务的智能体评判器
AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks
AI 导读
研究者推出 AgentHorizon 基准，包含 1,373 个计算机使用任务（指令-轨迹对），来自 166 小时人类录制的轨迹，覆盖三种操作系统。该基准通过交换相近指令构造负样本任务，评估评判器区分成功轨迹与完成相似但不兼容请求的能力，并发布 AH、AH-S、AH-D 三个划分。
正文 · AI 翻译
摘要：计算机使用智能体能够完成复杂任务，这增加了使用自动评判器来判定成功与否的需求，无论是用于训练还是在无人工参与的情况下进行评估。尽管它们具有灵活性，但在跨多个应用的长任务上的可靠性仍不明确。一条轨迹由长序列的截图和操作组成，可能看起来是完整的，但实际上违反了指令中的约束或引入了不希望的副作用。为了识别这些错误，评判器需要根据用户指令来检查轨迹。为此，我们引入了 AgentHorizon，这是一个包含 1,373 个计算机使用任务（指令-轨迹对）的基准，取自跨越三种操作系统的 166 小时人类记录的轨迹。通过为密切相关的指令记录轨迹，我们可以通过交换指令来构建负样本任务。这种配对设计评估评判器区分成功轨迹与完成了相似（但不兼容）请求的轨迹的能力。我们以三种划分发布该基准：前沿划分 AgentHorizon（AH）、简化划分 AgentHorizon-Simple（AH-S）以及开发划分 AgentHorizon-Development（AH-D）。我们进一步通过以下两种方式评估十一个评判器：(1) 直接传入完整轨迹（最多包含 300 张截图和操作），以及 (2) 在五个智能体框架中将其用作编码智能体。我们发现，我们最好的智能体式评判器 GPT-5.5 在 AH 子集上达到了 80.9% 的平衡准确率。我们发现，工具使用能提升某些模型，但对开放权重模型会导致更差的性能，并且评判器在接受有效轨迹和拒绝失败轨迹的能力上差异巨大。我们的发现凸显了对能够定位并验证长交互历史中任务被正确完成的、往往隐藏的证据的评判器的需求。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11050 [cs.AI] |
| （或 arXiv:2610.11050v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11050 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xing Han Lù [查看电子邮件]
[v1]
2026年10月8日星期四 01:03:48 UTC（2,705 KB）
来源：arXiv cs.AI · arxiv.org