跳到正文
Hacker News· Edward40·· 7 小时前AI 评分71

Runta 发布 FrontierHarness Eval v1.1:哪个 harness 最适合哪个模型

What is the best harness for each model?

AI 导读

Runta 与 Baseten 合作发布 FrontierHarness Eval v1.1,用 83B tokens、27,280 次 agent 运行评测 22 个 harness 配置 × 5 个模型 × 62 个终端任务,规模是 v1.0 的 76 倍。

正文 · AI 翻译

TL;DR

我们与 Baseten 合作,使用 83B tokens、跨越 27,280 次 agent 运行,构建了规模最大的 harness 排行榜。我们想回答两个问题:当你更换模型时,是否也应该考虑更换 harness?每个模型的最佳 harness 是什么?

此前,我们的 v1.0 FrontierHarness 排行榜 仅在单一模型 Kimi K3 上对 harness 进行排名。

V1.1 将基准扩展到 22 个 harness × 5 个模型 × 62 个任务 × 4 次尝试,规模是 v1.0 的 76 倍。

通过实验,我们发现:在更换模型时,你应该考虑同时更换 harness,以获得最佳体验。

每个模型都有不同的最佳性价比(通过率 vs. 成本)harness:GLM-5.3 搭配 Codex CLI,GLM-5.3 Flash 搭配 Pi,DeepSeek V4.1 Flash 1017 搭配 ZCode,Muse 搭配 Oh My Pi,Kimi-K3 搭配 Alma。成本排名在不同模型之间变化很大。

按每任务成本计算,harness 的中位排名变动了 22 个名次中的 11 个,Codex CLI 从搭配 GLM-5.3 时的第 1 名降至搭配 Kimi-K3 时的第 16 名。


结果

图 1. 各 harness 的每任务成本与通过率

每个点代表一个 harness:越靠左表示每任务平均成本越低,越高表示通过率越高。橙色线连接的是在成本和通过率两方面均未被其他 harness 超越的 harness。选择一个模型可筛选本文所有图表。

在所有模型上,有四个 harness 位于该线上:OpenCode v2(每任务成本最低,$0.561)、Pi、Codex CLI 和 ZCode(通过率最高,61.9%)。其余 harness 的成本最高达 1.6 倍,通过率为 50.6% 至 60.2%。

每张卡片列出一个模型的最佳性价比 harness:即每次通过成本最低者,除非另一个 harness 每次通过成本最多高出 30% 且通过率至少高出 5 个百分点。此规则使 ZCode 胜过搭配 DeepSeek 的 OpenCode v1(成本高 25%,通过率高 7.7 个百分点),并使 Alma 胜过搭配 Kimi-K3 的 Oh My Pi(成本高 9%,通过率高 6.5 个百分点)。


我们为何构建 FrontierHarness Eval v1.1

V1.0 使用一个模型运行了九个 harness。它们的通过率彼此相差在 17 个百分点以内,但每次通过成本的中位数相差 17 倍。我们认为这主要来自 harness 与模型的组合:对某个模型便宜的 harness,对另一个模型可能很贵。

V1.1 使用五个模型运行每个 harness。


我们测试了什么

Harness。 18 个 harness。四个 DeepSeek Harness 配置具有不同的工具集,OpenCode 运行了两个版本。每个单独计数:共 22 个配置。附录 中的表 2 给出了它们的版本。

模型。 五个模型均由 Baseten 提供:GLM-5.3(zai-org/GLM-5.3)、GLM Flash(zai-org/GLM-5.3-Flash)、DeepSeek(deepseek-ai/DeepSeek-V4.1-Flash-1017)、Muse(meta-models/muse-spark-open)和 Kimi-K3(moonshotai/Kimi-K3)。

任务。 62 个终端任务。时间限制为任务自身的时间限制,从 15 分钟到 8 小时不等。


设置与评分

配置与运行时

我们使用每个 harness 的默认设置运行 Harbor 评估,因为我们认为这最接近人们日常使用 harness 的方式。每个 harness 在所有模型上使用相同的版本和设置,并采用最大推理强度。

图 2. Harbor 和 Runta 在每次试验中如何分工

Harbor runs each trial, with its agent and verifier, in its own Runta runtime, which is deleted at the end.

每次试验都会获得一个新的 Runta 运行时,并在结束时删除。因此任何试验都无法看到先前试验的文件。

评分方法

表 1. 方法论

一个单元格代表一个 harness 与模型的组合。我们使用 我们的仪表盘 中的两个成本指标:

  • 每任务平均成本:每个任务已定价试验的平均成本,再对任务取平均。图 1 和成本排名使用该指标(图 4 和图 5)。
  • 每次通过成本:每任务平均成本除以通过率。最佳性价比 harness 使用该指标(图 3、图 6 和图 7)。

我们按每次通过成本选择最佳性价比,因为我们希望 harness 位于通过率对每任务成本图表的左上角:低成本、高通过率。从原点向某个 harness 的点画一条线。其斜率,即通过率 ÷ 成本,就是每美元通过次数。每次通过成本是该斜率的倒数,因此每次通过成本最低的线最陡。

对试验日志的审计标记了 216 次试验存在奖励黑客行为,其中 163 次是在线查询。这些试验得分为 0。附录中的表 3 给出了每个 harness 和模型的计数。


按模型的结果

图 3. 每个 harness 与每个模型的成本和通过率

较深的单元格表示其成本低于同列其他单元格。Codex CLI 搭配 GLM-5.3 时每次通过成本最低,为 $0.803,但搭配 Muse 时排第 12,搭配 Kimi-K3 时排第 10。在所有模型上,它的每次通过成本最低,为 $0.937,而 Antigravity CLI 最高,为 $1.63。

这些结果有多可靠?

我们重新抽取这 62 个任务 4,000 次,每次选出最佳性价比 harness。Codex CLI 搭配 GLM-5.3 在 99.6% 的抽取中保持第一。其余四个获胜者是几个接近的 harness 中最可能的:Oh My Pi 搭配 Muse(53%)、ZCode 搭配 DeepSeek(47%)、Pi 搭配 GLM Flash(42%)和 Alma 搭配 Kimi-K3(25%)。


Harness 会改变成本

模型决定成本的大致水平,因为各模型的标价相差 20 倍或更多(图 9)。我们对 110 个单元格的每任务平均成本取对数尺度,这样每个模型上翻倍都算作相同变化。双因素方差分析将这些成本的离散程度分为三部分:

  • 模型,92.8%:五个模型之间的差异。
  • Harness,2.3%:harness 效应中在每个模型上都相同的部分。
  • 配对,4.9%:其余部分。它也包括噪声,因为每个单元格只有一个值。

因此,在模型固定时,harness 之间 68% 的变异(7.2 个百分点中的 4.9 个)取决于配对,或者是噪声。

在模型固定时,harness 使成本变化 1.8 到 5.0 倍

图 4. 每个模型的最低成本和最高成本 harness

每一行是一个模型,按每任务平均成本的对数尺度。比率是最高成本除以最低成本。

为检验偶然性,我们在每个模型的 harness 之间打乱试验 300 次,并重新计算比率。“偶然”是这些比率的中位数,为 1.2 到 1.8 倍。所有五个真实比率都大于每一次打乱(p = 0.003),因此差异来自 harness,而不是重跑的噪声。最大的是 DeepSeek:Cline CLI 的成本是 OpenCode v1 的 5.0 倍,通过率高出 2.0 个百分点。在其他模型上,每任务成本最低的 harness 最多落后最贵的 0.4 个百分点。

每任务成本最低的 harness 随模型变化

图 5. 每个 harness 与每个模型的成本排名(1 = 每任务成本最低)

每条线是一个 harness,最便宜的在最上面。五条高亮线是搭配 GLM-5.3、GLM Flash、DeepSeek、Muse 和 Kimi-K3 时每任务成本最低的 harness。

Codex CLI 在使用 GLM-5.3 时排名第 1,在使用 Kimi-K3 时排名第 16。DeepSeek Harness:Creator 变化最大,从使用 Muse 时的第 1 名降至使用 GLM Flash 时的第 21 名。OpenCode v1 在使用 DeepSeek 时排名第 1,在使用 Muse 时排名第 13。

重跑并不能解释这些变化。我们将尝试分成两半,并按每一半的成本对 harness 进行排名。使用相同模型时,两个排名的平均秩相关系数为 0.71。使用两个不同模型时,为 0.26。

成本更高并不意味着得分更高

图 6. 每个模型每次通过的最低和最高成本

这是图 4 的成本版本,对应每次通过的成本。每个比值之后是各 harness 每任务成本与通过率的秩相关系数,从 −0.39 到 +0.22。正值意味着更昂贵的 harness 通过得更频繁。

通过率最高的 harness 在每任务成本上在 22 个中排第 5 到第 20。在五个模型中的四个上,每次通过最昂贵的 harness 通过频率低于最便宜的。


更简单的 harness 成本更低吗?

不。我们将四个因素与每次通过的成本进行了比较。提示大小、工具数量和缓存命中率不是主要成本因素。步骤才是。

  • 起始 token:第一个 agent-loop 请求的输入 token:系统提示、工具定义和任务。
  • 工具:第一个请求提供的工具。
  • 缓存命中率和步骤:通过试验的平均值。一个步骤是 agent 轨迹的一条记录。

图 7. 每个 harness 的四个因素与每次通过的成本

在 22 个 harness 上,每次通过的步骤数与每次通过的成本的秩相关系数为 +0.51(p = 0.015)。对于其他三个因素,为 −0.03 到 +0.02(p ≥ 0.88)。在每个模型内,工具调用与成本的相关性和步骤一样。下面的表 4 和附录中的表 5 给出了数值。

每一步都会再次发送上下文,因此按 harness 计算,一次试验平均使用 2.0 到 4.8 百万输入 token,而最大的首个请求 21,365 token 不到其中的 1%。mini-SWE-agent 的首个请求最小,为 882 token,但每次通过需要 38 步,在每次通过的成本上在 22 个中排第 17。

表 4. 每个 harness 的起始 token、工具、缓存命中率、步骤和每次通过的成本


成本从何而来

图 8. 每个 harness 的推理成本,按 token 类型或试验结果划分

所有成本均为按标价的推理估算。模型卡上 harness 的通过率带有轮廓。

在所有试验中,来自缓存的输入占成本的 42%,输出占 33%,其他输入占 25%。

Token 与缓存

缓存使重复输入便宜得多。缓存输入的成本是其他输入价格的 2%(DeepSeek)到 20%(GLM Flash)(图 9)。

图 9. 每个模型的标价(每百万 token 的美元)

一对数据展示了缓存的效果。使用 DeepSeek 的 Cline CLI(每任务成本最高)从缓存读取了 86% 的输入,而 OpenCode v1 读取了 97%。它还发送了两倍的输入。非来自缓存的输入占其成本的 57%。

大部分成本流向了未通过的试验

计分运行的标价成本中有 64.5% 流向了未通过的试验:52.7% 流向失败,11.8% 流向超时。


五个最具性价比的 harness 的轨迹显示了三个常见的设计选择。这些是观察结果,不是测试。

一个 shell 工具承担了大部分工作。按 harness 统计,它占到了工具调用的 61% 到 93%。Pi 的默认提示词包含四个工具,并把文件搜索交给 bash:

selectedTools: [...(input.selectedTools ?? ["read", "bash", "edit", "write"])],
addRule("Use bash for file operations like ls, rg, find");

每个请求只在前一个请求的基础上追加内容。上下文开头不变,因此服务商可以从缓存中读取:在通过的试验中,缓存读取占输入量的 91.1% 到 94.0%(表 4)。但 22 个 harness 中有 18 个的缓存读取率达到 91% 或更高,因此这并不能区分出那五个。每一步只为约 500 个新 token 支付完整的输入价格:

# Pi, GLM-5.3, merge-diff-arc-agi-task (trial cd2f6dfd)
request  prompt tokens  cached tokens
   8        15,954         15,616
   9        16,351         15,936
  10        16,999         16,320

没有子代理,也几乎没有摘要。这五个 harness 中,每个最多只在 6 次试验里使用了子代理,样本太少,无法判断子代理是否有帮助。五个之中只有 Codex CLI 做了摘要,共 8 次试验(表 6 中的 11 次 Alma 试验只是丢弃旧图片和提醒)。Codex CLI 在窗口用到 90% 时进行摘要(表 6):

.map(|context_window| (context_window * 9) / 10);

这五个 harness 还有一个共同的弱点。失败的运行以自信的答案结束。约四分之三的失败试验以给出最终答案结束,而不是因超时结束:从 Pi 的 68% 到 Codex CLI 的 82%。很少有运行表示工作未完成:

# Codex CLI, GLM-5.3, cancel-async-tasks (trial 37182b0e)
Agent:    - Validated with system Python, including concurrency and
            cancellation-cleanup tests.
Verifier: FAILED test_tasks_cancel_above_max_concurrent
          assert stdout.count("Cleaned up.") == 2
          AssertionError: assert 0 == 2

未通过的试验花费了各 harness 每次通过成本的 60%(Codex CLI)到 69%(Alma)。在 harness 停止前做一次检查可以节省其中一部分,但我们没有测试这一点。


局限与未来工作

  • 开源模型,单一服务商。闭源模型可能给出不同结果。缓存和价格来自 Baseten,换用其他服务商可能改变成本排名。

我们计划接下来做两件事:

  • 闭源模型。我们将加入闭源模型,例如 Claude Opus 5.5、GPT-6 Astra 和 Gemini 4 Carbon。
  • 长时程工作。我们将研究在云端持续运行的 harness 如何在长时间工作中自我改进。

结论

  • 更换模型时,也要考虑更换 harness。用你的模型在你自己的任务构成的私有数据集上测试候选 harness,数据集要足够大,以排除噪声干扰。
  • 成本主要由模型决定,harness 次之。模型解释了每任务成本方差的 92.8%。在模型固定的情况下,最贵的 harness 每次通过的成本是最便宜的 1.9 到 4.9 倍(每任务 1.8 到 5.0 倍),因此选择 harness 时要比较成本。
  • 更高的成本并不能换来更高的通过率。对每个模型而言,每任务成本与通过率的秩相关为 −0.39 到 +0.22。
  • 规模不能预测成本。最小的 harness mini-SWE-agent 在所有模型上的每任务成本排名为 22 个中的第 19 位。
  • 大部分成本(64.5%)花在了未通过的运行上。在使用五个最具性价比的 harness 时,68% 到 82% 的失败运行以自信的最终答案结束,而不是因超时结束。
  • 对于通过率范围较宽的廉价模型,应选择通过率高的 harness。各 harness 的通过率有差异,使用 DeepSeek 时为 54.0% 到 69.0%。但每个通过率都有约 ±10 个百分点的 95% 区间,因此几个百分点的差距属于持平。
  • 致 harness 开发者:减少步骤,而不只是减少提示词 token。提示词大小、工具数量和缓存命中率都不能预测每次通过的成本。步骤数可以,因为每一步都会重新发送整个上下文。

附录:参考表格

表 2. 各 harness 的配置

表 3. 各 harness 的奖励作弊试验

表 5. 各 harness 的提示词与工具


参考文献

来源:Hacker News · runta.com