arXiv cs.AI· Zhiyong Cao, Hengjie Zhu, Yongxin Wang, Xuchen Li, Jintao Li, Shuxia Liu, Dunqiang Liu, Bo Wang, Kairan Zhang, Cong Lin, JiangDi Yu, Siyuan Liu, Sijia Yao, Yi-Liang Wei, Lingxu Ma, Aijia Wang, Anxin Chen, Zixian Wei, Xiang Ruan, Ruizhi Xu, Ruqian Shi, Baihua Xiao, Sicheng Zhou·· 11 小时前AI 评分49
TraceTrial-Bench：面向 AI 智能体框架可靠性与故障归因的基准测试
Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution
AI 导读
研究者推出 TraceTrial-Bench，将智能体框架（harness）可靠性拆为上下文、执行、治理、生命周期、可观测性、工具、验证七个组件，构建 95 个专家级任务并配套轨迹追踪与双层评估框架。
正文 · AI 翻译
作者：Zhiyong Cao、Hengjie Zhu、Yongxin Wang、Xuchen Li、Jintao Li、Shuxia Liu、Dunqiang Liu、Bo Wang、Kairan Zhang、Cong Lin、JiangDi Yu、Siyuan Liu、Sijia Yao、Yi-Liang Wei、Lingxu Ma、Aijia Wang、Anxin Chen、Zixian Wei、Xiang Ruan、Ruizhi Xu、Ruqian Shi、Baihua Xiao、Sicheng Zhou
摘要：LLM 智能体越来越多地被用于解决现实世界问题，其有效性既取决于底层模型，也取决于支撑其运行的 harness。然而，现有大多数基准测试关注模型能力和智能体整体表现，对智能体 harness 的评估关注有限。为填补这一空白，我们提出 TraceTrial-Bench，将 harness 可靠性划分为七个组成部分，涵盖上下文、执行、治理、生命周期、可观测性、工具和验证。我们构建了 95 个专家级、面向机制的任务，并配有可执行或基于状态的 ground truth，以支持语义等价比较，同时保留每个 harness 的原生行为。我们设计了一个轨迹追踪（Trajectory Tracing，TT）模块来捕获智能体执行轨迹，并引入一个两层评估框架，分别评估智能体性能和 harness 可靠性。此外，我们设计了一个多源证据获取（Multi-source Evidence Acquisition，MEA）模块，为基于 LLM 的评估提供来自智能体上下文、harness 和执行环境的证据，并开发了一个失败归因（Failure Attribution，FA）模块，使用显式机制链支持运行级别的归因。在 4 个 harness、9 个模型和 95 个任务上，我们对 3,420 次运行的评估得出宏平均 harness 分数在 59.8% 到 72.0% 之间，而 31.1% 的运行尽管至少未通过一项 harness 标准，仍实现了任务成功。TraceTrial-Bench 为比较智能体 harness、诊断其失败以及研究 harness 设计与模型行为的交互方式提供了可审计且可复现的基础。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32285 [cs.AI] |
| （或 arXiv:2610.32285v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32285 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hengjie Zhu [查看电子邮件]
[v1]
2026年10月23日星期五 07:43:26 UTC（8,717 KB）
来源：arXiv cs.AI · arxiv.org