arXiv cs.AI· Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu·· 11 小时前AI 评分52
智能体失败该怪模型还是执行框架？论文提出五项指标评估模型与框架交互
When Agents Fail: Model or Harness--Who's to Blame?
AI 导读
论文提出一个评估框架，用有效完成率（VCR）、模型-框架匹配度、跨模型匹配度、交互残差和 Token 负载五项指标，衡量 LLM 智能体表现中模型与执行框架各自的贡献。
正文 · AI 翻译
作者：Shao Zhang、Hangfan Zhang、Yuanyuan Shi、Hao Li、Min-Le Su、Kangcong Li、Jingping Wang、Chunjiang Mu、Chen Zhang、Yang Chen、Bo Zhang、Shuyue Hu
摘要：LLM 智能体将模型与执行框架相结合，因此智能体基准测试的表现反映的是二者的联合行为。我们认为，应当通过执行框架与底层模型的交互来评估执行框架。我们开发了一个框架，结合五项互补指标：(i) 有效完成率（VCR），即智能体可靠地正常结束并交付可评估结果的程度，与任务正确性无关；(ii) 模型-框架契合度，即对于给定模型，执行框架通过有效完成来支持任务达成的程度；(iii) 跨模型契合度，即执行框架在所评估模型上的整体适用性；(iv) 交互残差，即被组件级汇总所掩盖的特定配对执行优势与劣势；(v) Token 负载，即智能体执行的 token 需求，包括失败的尝试。我们使用四个核心模型评估了四个通用执行框架（OpenCode、Codex CLI、Pi CLI 和 DeepAgents），外加两个固定的原生模型-框架系统，在六个基准测试上覆盖上下文管理、工具使用、长上下文规划、多模态交互和产物交接。包括原生参照和压力条件在内，111 个评估设置产生了 52,168 条轨迹。执行框架的排名因模型和基准测试而异；任务表现和有效完成可能偏向不同的配对，相似的任务得分可能伴随不同的执行特征。OpenCode 在跨模型表现中排名第一，而 DeepSeek V4 Flash Preview 在共享的四基准测试面板上于各执行框架间保持持续较高的平均 VCR。这些发现支持评估模型-框架交互、在模型中训练可迁移的框架使用能力，以及针对模型和任务调整执行框架设计。
| 评论： | 审稿中的预印本 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.32483 [cs.AI] |
| （或 arXiv:2610.32483v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32483 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shao Zhang [查看邮箱]
[v1]
2026年10月23日星期五 10:57:54 UTC（4,170 KB）
来源：arXiv cs.AI · arxiv.org