arXiv cs.AI· Amir H. Rezaeian, Weiyi Sun, Yassine Benajiba, Dan Roth·· 13 小时前AI 评分38
Prefix Executability：超越最终成功率评估工具使用智能体
Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success
AI 导读
研究提出 prefix executability 轨迹级评估协议，衡量工具调用序列的每个前缀在工具 schema、状态前置条件和数据依赖下是否可执行，并用 PEC、FED、TER、AUC-PEC 和 RR 等指标量化可靠性。
正文 · AI 翻译
摘要：工具使用基准通常以最终任务成功率来给智能体打分，但终端结果可能掩盖中间工具调用轨迹是否可执行。我们提出前缀可执行性，作为面向工具使用智能体的轨迹级评估协议。该协议衡量预测的工具调用序列的每个前缀在工具模式、状态前置条件和数据依赖下是否仍可执行，并使用前缀可执行性曲线（PEC）、首次错误深度（FED）、轨迹可执行率（TER）、按时间跨度归一化的 AUC-PEC 以及恢复率（RR）来总结可靠性。我们在来自 BFCL-v3 多轮和 ToolSandbox 的分层样本上，以及在 $\tau^3$-bench 的完整 Airline/Retail 基础划分上实例化该协议。我们观察到，仅看结果的排名与前缀级排名会出现分歧：执行以未经验证的计划为条件的智能体，往往比不以计划为条件的基线获得更高的点估计最终成功率，同时显著降低 TER 和 AUC-PEC。这些分歧正是前缀可执行性旨在揭示的失败模式：它们揭示表面成功是否建立在可执行轨迹之上、无效性首次进入的位置，以及成功是否来自对先前失败的恢复。作为一项验证干预，显式执行前计划检查可以提高可执行前缀的存活率，同时保持有竞争力的终端成功率。这些结果表明，仅凭最终成功不足以评估工具使用智能体，而前缀级可执行性为比较智能体、诊断失败和评估验证机制提供了可操作的可靠性信号。
| 评论： | 21 页，2 幅图。已被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.40444 [cs.AI] |
| （或 arXiv:2610.40444v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40444 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Amir H. Rezaeian [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 16:58:04 UTC（1,303 KB）
来源：arXiv cs.AI · arxiv.org