arXiv cs.AI· Yilun Yao, Xinyu Tan, Chao-Hsuan Liu, Yaoming Li, Zhengyang Wang, Zongwei Lv, Wenhan Yu, Zhewen Tan, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Guangxiang Zhao, Tong Yang·· 2 天前AI 评分34
Harness-Bench：跨模型与真实工作流评估 Agent Harness
Harness-Bench: Evaluating Agent Harnesses across Models and Realistic Workflows
AI 导读
研究者推出 Harness-Bench，一个在真实 Agent 工作流中评估配置级 harness 效应的诊断基准，包含 106 个沙箱离线任务，在共享任务环境、预算和评测协议下对比多种模型后端与代表性 harness 配置。
正文 · AI 翻译
作者：Yilun Yao、Xinyu Tan、Chao-Hsuan Liu、Yaoming Li、Zhengyang Wang、Zongwei Lv、Wenhan Yu、Zhewen Tan、Yuxuan Tian、Lin Sun、Xiangzheng Zhang、Guangxiang Zhao、Tong Yang
摘要：LLM 智能体正越来越多地被部署为可执行系统，它们使用工具、修改工作区并产出具体工件。在此类工作流中，性能不仅取决于基础模型，还取决于 harness：即负责管理上下文、工具、状态、约束、权限、追踪与恢复的系统层。然而，现有基准通常将执行过程抽象掉、比较完整的智能体系统，或固定 harness，使得执行层的差异难以研究。我们提出 Harness-Bench，一个用于在真实智能体工作流中评估配置级 harness 效应的诊断性基准。Harness-Bench 在共享的任务环境、预算和评估协议下，跨多个模型后端评估具有代表性的 harness 配置，同时保留每个 harness 的原生执行行为。该基准包含 106 个沙箱化离线任务，这些任务基于实际智能体使用模式构建，并经过人工审查以确保真实性、可解性、可预言机检验性和完整性。每次运行都会记录最终工件、执行轨迹、使用统计和验证器输出，从而支持超越最终完成度的分析。在 5,194 条执行轨迹中，我们观察到不同模型-harness 组合在完成度、过程质量、效率和失败行为方面存在显著差异。这些结果表明，智能体能力应在模型-harness 配置层面报告，而不应仅归因于基础模型。我们的分析进一步识别出反复出现的执行对齐失败，即看似合理的推理与工具反馈、工作区状态、证据或可验证的输出契约脱节。Harness-Bench 为诊断和改进可靠、高效且可审计的智能体执行栈提供了可复现的基础。
| Comments: | 36 页，10 幅图，28 张表 |
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2605.27922 [cs.AI] |
| （或使用 arXiv:2605.27922v2 [cs.AI] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2605.27922 由 DataCite 提供的 arXiv 颁发 DOI |
Submission history
来自：Yilun Yao [查看邮箱]
[v1]
2026年5月27日星期三 03:47:35 UTC（456 KB）
[v2]
2026年10月15日星期四 16:11:09 UTC（6,417 KB）
来源：arXiv cs.AI · arxiv.org