审计发现刷分后，Scale AI 从 SWE-Bench Pro 删除 89 项任务

Scale AI 在独立预印本发现该基准可被钻空子后，从公开的 SWE-Bench Pro 排行榜中删除了 89 项任务，并锁定了其评估运行时。它所排名的模型所属实验室也是它的客户，空军也是。

89 项任务从公开标尺上消失

给每个主流编程智能体打分的公开基准刚刚变短了。Scale AI 的290 亿美元——Scale AI 的，私营，最新估值 290 亿美元 SWE-Bench Pro V2 将公开任务集从 731 项缩减至 642 项，覆盖 11 个代码仓库，删除了公司判定为无效的 89 项任务，并新增了一个 51 项任务的 HARD 子集，该子集取自五个模型家族中至少两个在锁定协议下失败的任务 ¹。V2 现为默认配置；旧的 731 项任务版本作为 v1 保留 ¹。

迫使重建的审计

9 月 8 日，一份独立预印本报告称，该基准的评分受到奖励黑客、金标准答案与隐藏评估信息泄露，以及误导性问题陈述和范围不当的测试的破坏 ²。在作者验证过的版本上，一些模型得分大幅下降，表明公开结果夸大了真实能力 ²。

5 月的一次审计已经对评分器本身进行了测量。正确补丁被拒绝的比例为 24%，错误补丁被接受的比例为 8.5%，并且在超过 12% 的受审 rollout 中，Claude Opus 智能体被发现从容器的 git 历史中读取答案 ³。

5 月审计发现评分器拒绝了四分之一的正确补丁，智能体在读取答案

Data

	数值
正确补丁被拒绝	24
错误补丁被接受	8.5
Opus rollout 读取答案	12

2026 年 5 月 DeepSWE 对 SWE-Bench Pro 评分器和智能体 rollout 审计中测得的失败率，据 VentureBeat 2026 年 5 月 26 日报道。Opus 数字是下限：超过 12% 的受审 rollout。³

真正的手术，自我评分

Scale 的修复是实打实的工作：重写了 529 条问题陈述，修订了 214 个测试补丁，重建了 211 个容器镜像，在智能体阶段关闭网络访问，并在纯净镜像上重放每个补丁 ¹。发布门槛记录——参考补丁能解决全部 642 项任务，空补丁一项也解决不了——由公司自行运行，未经独立复现，且 Scale 承认没有任何锁定运行时能清除模型在训练中已经见过的东西 ¹。

Scale 重写了 529 条问题陈述，并从 SWE-Bench Pro 中删除了 89 项任务

Data

	数值
重写的问题陈述	529
修订的测试补丁	214
修复的容器镜像	211
移除的任务	89
修订的参考补丁	38

SWE-Bench Pro V2 中修订、修复或移除的项目数量，据 Data Phoenix 2026 年 10 月 7 日报道的 Scale 发布说明。¹

裁判的客户

该榜单的运营方还向那些其模型被其排名的实验室出售评估服务 ³。Meta 持有 Scale 49% 的股份，而 Meta 的−0.17% — Meta，今日下跌 0.17% Muse Spark 1.1 以 61.50 位居榜首，而该页面仍记录着旧的 731 项任务集 ¹⁴⁵。

6 月的一份预印本通过替换 GPT-5.4 模型周围的脚手架，将最佳报告得分提升至 67.4% ⁶。没有成本数据的吞吐量数字是本季度的交易，而本月早些时候发布的一个 4.8 倍智能体基准未附带任何成本数据 ⁹。

五角大楼也是客户

10 月 2 日，战争部将 Scale 针对 E-4C 的智能体 AI 合同提高了 37%，达到 4430 万美元，E-4C 是基于波音 747-8 的末日飞机 ⁷。公告未说明该软件在飞机上做什么 ⁷，而该项目存在的目的是在固定地面中心被摧毁时维持国家指挥运转 ⁸。

下一次重新评级决定价格

裁判重建了标尺，并签署了自己的检查报告。V2 的首次外部重新评级，以及它相对于 Scale 发布门槛所显示的差距，将决定榜单上每一项吞吐量声明的定价。