跳到正文
arXiv cs.AI· Yangze Liu, Zhongyi Han·· 10 小时前AI 评分60

研究:编码智能体的 harness 差异多数与重跑波动相当

What Does a Harness Buy? Tokens, Mostly

AI 导读

研究将七个模型分别跑在 Claude Code、mini-SWE-agent 和 OpenCode 三个生产 harness 上,在 SWE-bench Verified 及另外两个基准上测试并原样重跑。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:编码智能体是运行在 harness 中的语言模型:系统提示、工具以及上下文管理,使聊天模型能够在代码仓库中工作。这类智能体的大部分工程工作都投入在 harness 上,厂商和排行榜也将其归功于分数提升。此前的研究固定模型、更换 harness,但并未测量更换 harness 是否比再次运行同一 harness 更能改变通过率。我们让七个模型在三个生产级 harness(Claude Code、mini-SWE-agent 和 OpenCode)上运行,测试集为 SWE-bench Verified 以及另外两个不同类型的基准,并在不改变任何设置的情况下重跑。没有哪个 harness 在所有模型上都持续领先。在数据能够界定两个 harness 之间差异的地方,该界为 2 到 5 分,而更换 harness 所改变的任务结果数量与一次重跑大致相当。例外是特定模型与 harness 配对中的 harness 效应,其方向随模型而变化:OpenCode 在某个模型上落后 8 到 9 分,在另一个模型上则领先 14 分。harness 之间的成本差异也取决于模型,从不到 10% 到 3 至 4 倍不等。因此,哪个 harness 更好,脱离模型便没有答案,而 harness 差异应当与一次重跑的结果并列报告。
评论: 31 页,9 幅图。v2:七个模型、对每个模型进行重跑、两个非 SWE 基准;修订了关于通过率和成本的结论。代码与数据:此 https URL
主题: 人工智能(cs.AI);机器学习(cs.LG);软件工程(cs.SE)
引用为: arXiv:2610.04433 [cs.AI]
  (或 arXiv:2610.04433v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.04433

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Yangze Liu [查看电子邮件]
[v1] 2026 年 10 月 3 日星期六 10:47:10 UTC(406 KB)
[v2] 2026 年 11 月 18 日星期三 13:24:25 UTC(857 KB)

来源:arXiv cs.AI · arxiv.org