Cognition 发布 FrontierCode 1.1：AI 写的代码维护者愿意合并吗？

概述

FrontierCode 是来自 Cognition 的编码基准测试，由开源仓库的维护者共同构建。每个任务要求智能体对真实开源仓库进行修改，该基准测试衡量的是修改是否足够好，能让该仓库的维护者合并。

FrontierCode 评分的不只是测试是否通过。与其他编码评估不同，模型还会在诸如做出过多修改和产生大型 diff、修改相关范围之外的文件，或添加无用的测试等行为上受到评估。我们认为这种方法在当前背景下很有价值：模型现在在编码任务上非常能干，但它们的修改仍可能需要大量清理，维护者才会合并。

我们运行 FrontierCode 1.1 Main，即该基准测试 150 个任务中的主要 100 任务集，所有模型都在相同的智能体框架中运行，以便进行同类比较。这些任务是私有的，以避免污染。

领先模型仍有超过 40% 的时间失败。Claude Opus 5.5（max with fallback）以平均分 52% 和通过率 58% 领先。通过率是完成所有阻断性标准的尝试所占比例，而分数也反映了理想的非阻断项。

FrontierCode 1.1 作为独立排行榜发布，不属于 Artificial Analysis Intelligence Index。我们计划很快将其加入我们的 Coding Agents leaderboard。

FrontierCode 1.1：分数

每个任务三次尝试的平均分（未通过阻断性检查或因查找答案而被标记的尝试得零分）· 由 Artificial Analysis 独立基准测试

FrontierCode 如何运作

基准测试概述

Cognition 与 36 个开源仓库的维护者共同构建了 FrontierCode，他们在每个任务上花费了 40 多个小时。Cognition 于 2026 年 6 月宣布 FrontierCode，并于 2026 年 7 月发布 1.1 版本，该版本增加了公平使用互联网的规则。

FrontierCode 验证器通过确定性测试和定性审查对每次尝试进行评分：隐藏测试和命令检查、对修改涉及哪些文件以及多少代码的限制，以及根据维护者标准的 LLM 审查。每项检查要么是阻断性的，要么是非阻断性的。任何未通过阻断性检查的尝试得 0 分，通过所有阻断性检查的尝试得分在 70% 到 100% 之间。

方法论

任务集：我们评估 FrontierCode 1.1 Main 的 100 个任务，每个任务三次尝试。
智能体框架：每个模型都在 Stirrup 中运行，这是我们开源的智能体框架，每次尝试上限为 250 轮。
评分：由 LLM 评判员评估评分标准的审查准则。我们使用 GPT-6 Luna (medium) 作为评判员。
查找答案：被 Cognition 的轨迹扫描器根据公平使用互联网规则标记的尝试得 0 分。
计分：我们对每个任务的三次尝试取平均，然后以相等权重对任务分数取平均。

完整细节见方法论页面。

主要发现

领先模型仍有超过 40% 的时间失败：Claude Opus 5.5（max with fallback）以 52% 领先，其 58% 的尝试通过了所有阻断性检查，紧随其后的是 GPT-6.1 Sol (max) 和 Claude Fable 5.1（max with fallback），均为 49%
排行榜顶部竞争激烈：来自六个实验室的九个模型得分在 43% 到 52% 之间。MiMo-V2.6-Pro 以 45% 成为领先的开源权重模型，紧随其后的是 DeepSeek V4.1 Flash (max) 和 Kimi K3 (max)，均为 44%
GPT-6.1 Sol (max) 在其成本下提供了最强的性能：每任务 $0.81 时得分 49%，与 Claude Fable 5.1 (max with fallback) 相当，而每任务成本不到领先 Anthropic 模型的十分之一
100 个任务中有 9 个没有任何模型在任何尝试中通过，也没有任何任务被所有模型在每次尝试中通过

通过率

我们对每个任务运行三次。一次尝试通过是指它满足所有阻断性检查。通过率范围从 Claude Opus 5.5 (max with fallback) 的 58% 尝试通过率到 Muse Glimmer (high) 的 16%。

FrontierCode 1.1：通过率

通过所有阻断性检查的尝试占比 · 越高越好

成本

每任务成本跨度超过 100 倍，从 GPT-6 Luna (max) 的 $0.09 到 Claude Fable 5.1 (max with fallback) 的 $12.00。四个模型位于得分对成本的帕累托前沿上：GPT-6 Luna (max) 为 42% 和每任务 $0.09，MiMo-V2.6-Pro 为 45% 和 $0.18，GPT-6.1 Sol (max) 为 49% 和 $0.81，以及 Claude Opus 5.5 (max with fallback) 为 52% 和 $10.15。前沿上的最后一步，从 GPT-6.1 Sol (max) 到 Claude Opus 5.5 (max with fallback)，增加了 3 分，但每任务成本增加了超过 12 倍。

GPT-6.1 Sol (max) 比 GPT-6 Astra (max) 得分高 2 分，而每任务成本约为其五分之一，$0.81 对 $4.22。Claude Sonnet 5.5 (max with fallback) 每任务使用的输出 token 比 Claude Opus 5.5 (max with fallback) 多约 50%，但由于每 token 价格减半，其成本更低，$8.26 对 $10.15。

FrontierCode 1.1：得分与每任务成本

FrontierCode 1.1 得分与平均每任务成本（美元）

最具吸引力的象限

帕累托线

评估中的平均每任务成本。在可获得规范 token 计数的情况下，成本按输入、缓存命中、缓存写入、推理和答案 token 定价拆分。

Token 使用与时间

GPT-6 模型在 token 效率上领先：GPT-6 Astra (max) 和 GPT-6.1 Sol (max) 每任务使用约 27k 和约 33k 输出 token，相比之下 Claude Opus 5.5 (max with fallback) 约为 157k，而 Claude Sonnet 5.5 (max with fallback) 约为 236k，是所有模型中最多的。每任务时间取决于 token 使用量和实时输出速度，范围从 Inkling (xhigh) 的约 3 分钟到 Qwen3.8 Max (0902) 的约 46 分钟。

FrontierCode 1.1：每任务输出 Token

运行一个任务所用的输出 token，按推理和答案 token 拆分

本次评估中每个基准任务平均产生的答案和推理 token 数。