Artificial Analysis 发布 Coding Agent Index v2.0，Claude Opus 5.5 以 61.7 分登顶

Artificial Analysis· @ArtificialAnlys · X·2026-10-23 08:17· 1 小时前AI 评分48

AI 导读

Artificial Analysis 推出 Coding Agent Index v2.0，改用 Cognition 的 FrontierCode v1.1 替代 DeepSWE，并修订 SWE-Atlas-QnA 评分，共 290 项任务、三大基准等权。

正文 · 原文

Artificial Analysis 发布 Coding Agent Index v2.0：Cognition 的 FrontierCode v1.1 取代 DeepSWE，SWE-Atlas-QnA 评分修订，Claude Code 中的 Claude Opus 5.5 以 61.7 领先

今天我们推出 Coding Agent Index v2.0。该指数将模型与其 agent harness 一同评估，现涵盖 290 项任务，覆盖软件工程、终端使用和仓库问答，三大基准权重相同。

变更日志（Index v1.5 → Index v2.0）：

→ FrontierCode v1.1 取代 DeepSWE v1.1。FrontierCode 是 @cognition 推出的基准，使用私有测试集：在真实开源仓库上的 100 项软件工程任务，评分标准是维护者是否会合并该变更。未通过阻断性检查的尝试得零分，通过全部阻断性检查的尝试根据其满足的非阻断性检查得 70% 至 100% 之间的分数。我们还用 Cognition 规则扫描器的修改版扫描每条轨迹，任何被标记为访问解题材料的尝试得零分。

→ 修订 SWE-Atlas-QnA 评分，现为 SWE-Atlas-QnA-AA。Scale AI 的 124 项仓库问答任务保持不变。我们改写了 1,306 条评分标准中的 127 条，以获得更一致的判定，并改用 GPT-6 Luna（xhigh）作为评判者，每条标准五票。数据集和评判者配置已发布在 Hugging Face 上。

主要结果：

➤ Claude Opus 5.5 领跑该指数：Claude Code 搭配 Claude Opus 5.5（max）得分 61.7，其次是 Claude Code 搭配 Claude Sonnet 5.5（max）59.3，Muse Code 搭配 Muse Wonder Full（max）58.9，Claude Code 搭配 Claude Fable 5.1（max with fallback）57.6。

➤ FrontierCode v1.1 是 Opus 5.5 拉开差距的地方：Opus 5.5 在 FrontierCode 上得分 56.0%，领先于 Codex 搭配 DeepSeek V4.1 Flash（max）的 52.6%、Codex 搭配 GPT-6.1 Sol（max）的 49.4% 和 Codex 搭配 GPT-6 Astra（max）的 49.3%。在头部之下，FrontierCode 分数密集：该指数上 24 个配置中有 15 个得分在 43% 至 49% 之间。

➤ SWE-Atlas-QnA-AA 评分更严格、更一致：在两个指数版本上均评估的 21 个配置中，平均分下降 1.7 分，从 58.8% 降至 57.1%，21 个中有 14 个下降。单个配置变动最多达 7 分：Muse Code 搭配 Muse Spark Open（xhigh）下降 7.0，Kimi Code CLI 中的 Kimi K3 和 Codex 搭配 GPT-6 Luna（max）下降 6.2，Muse Code 搭配 Muse Wonder（max）下降 5.6，而 Codex 搭配 GPT-6.1 Sol（max）上升 2.1。

➤ 四个配置位于成本前沿：Codex 搭配 DeepSeek V4.1 Flash（max）每任务 $0.39 得分 47.3，Codex 搭配 GPT-6.1 Sol（max）$1.50 得分 54.1，Codex 搭配 GPT-6 Astra（max）$7.04 得分 54.7，Claude Code 搭配 Claude Opus 5.5（max）$11.42 得分 61.7。成本为按 token 付费的 API 成本，而非订阅价格。

我们将继续增量更新 Coding Agent Index，未来会有更多评估和 agent。

来源：Artificial Analysis · x.com