MiMo-V2.6-Pro 以 45% 居 FrontierCode 1.1 开源权重模型首位

我们正在推出 FrontierCode 1.1 的排行榜，这是来自 Cognition 的一项私有评测，测试模型完成编码任务的方式是否真的能被真实世界仓库的维护者合并 @cognition 于 2026 年 6 月发布 FrontierCode，并于 7 月更新至 1.1 版本。Cognition 与开源维护者共同构建了该数据集，每个任务耗时超过 40 小时。每个任务要求智能体对真实开源仓库进行修改，然后同时检查单元测试和定性测试，以判断维护者合并该修改所需的条件。 我们运行 FrontierCode 1.1 Main，即该基准 150 个任务中的主要 100 任务集，使用我们的 Stirrup 开源参考测试框架，以实现跨模型的同类对比。所有任务均为私有，以避免污染。每次尝试均按阻塞性和非阻塞性标准评分。任何一项阻塞性检查未通过的尝试得零分，全部通过的尝试得分在 70% 到 100% 之间。 与其他编码评测不同，FrontierCode 基于真实使用情况对成功有更全面的看法。模型需要通过单元测试，但也会评估诸如进行过多修改和产生大量 diff、修改相关范围之外的文件，或添加无用的测试等行为。我们认为这种方法在当前背景下很有价值：模型现在在编码任务上非常能干，但它们的修改在维护者合并之前仍可能需要大量清理。 关键要点： ➤ 领先模型仍有超过 40% 的失败率：Claude Opus 5.5（max with fallback）以 52% 的得分领先，其 58% 的尝试通过了阻塞性检查。在我们为发布而评测的所有模型中，有 9 个任务没有任何模型在任何尝试中通过 ➤ 排行榜顶部竞争激烈：来自六个实验室的九个模型得分在 43% 到 52% 之间。MiMo-V2.6-Pro 以 45% 成为领先的开源权重模型，紧随其后的是 DeepSeek V4.1 Flash（max）和 Kimi K3（max），均为 44% ➤ GPT-6.1 Sol（max）提供了其成本下最强的性能：每任务 $0.81 的得分达到 49%，与 Claude Fable 5.1（max with fallback）持平。这意味着它以不到领先 Anthropic 模型每任务成本十分之一的价格，实现了相近的性能 感谢 @silasalberti、@ybenpan、@cl571128 以及 Cognition 团队的其他成员构建 FrontierCode，并与我们合作将其带到 Artificial Analysis——我们正努力尽快将 FrontierCode 加入我们的编码智能体排行榜。