Replit 发布 ViBench 2.0 长程软件开发基准，GPT-6.1 Sol 以 65% pass@1 居首

Replit：Blog·2026-10-29 02:50· 50 分钟前AI 评分55

ViBench 2.0：长程软件构建基准

AI 导读

Replit 发布长程软件开发基准 ViBench 2.0，代理从空项目按功能搭建完整产品，包含 17 个产品、241 个功能请求和 544 个测试计划，并加入 Fireworks 的 Specialized Intelligence Index。

正文 · 原文

今天我们发布 ViBench 2.0，一个面向长程软件开发的基准。它加入了 Fireworks 的 Specialized Intelligence Index（SII）[1]，Fireworks 是我们开放权重模型推理与训练方面的合作伙伴。SII 汇集了由从业者构建的基准，用于在跨行业的真实工作任务上比较开放、闭源和专用模型。

大多数编码基准，例如 DeepSWE [2]，都是在现有代码库中给代理一个定义明确的任务。而在 ViBench 2.0 中，代理从空项目开始，然后以 Uber、GitHub 或 Google Docs 等产品为蓝本，逐个功能地构建出完整产品。

ViBench 2.0 包含十七个产品、241 个功能请求和 544 个测试计划。最好的模型 GPT-6.1 Sol、GPT-6 Astra 和 Opus 5.5，也只在 49⁠-⁠65% 的构建中通过了全部测试计划。

我们为什么构建 ViBench 2.0

ViBench 1.0 [3] 以当时 Replit 用户正在构建的内容为蓝本，例如协作白板和简历生成器。如今人们来到 Replit 是为了构建整个业务，而这些业务往往包含功能完备的软件产品。ViBench 2.0 衡量模型能否构建这样的产品。

代理根据简短规格说明构建给定产品的第一个版本，然后在其现有代码之上添加最多十八个功能。这种设计迫使它在还不知道后续内容的情况下就选定 schema 和路由，因此后面的功能可能比前面的更难。ViBench 1.0 发现，当模型在自己的代码上添加功能时得分更低，论文将这种设定称为 Vibe-on-Vibe。ViBench 2.0 通过模拟产品的演进进一步扩展了这一设定。其中八个产品以 Harbor 格式 [5] 在 GitHub [4] 上公开；其余九个则保留不公开。这里的所有结果都可以从 release v2.0.6 开始，在我们基于 OpenHands 的 harness [6] 上用一条命令重新运行。

在此过程中，代理必须处理：

• 干净部署：测试会在空数据库上启动构建，因此依赖残留数据的构建会全部失败。
• 现有数据：在社区聊天产品中，提及某人的消息必须在该人改名后显示其新名字。
• 不变量：在网约车产品中，分摊车费的份额相加必须始终精确等于行程费用，精确到分。
• 过期状态：在代码托管产品中，在他人保存之前打开的编辑器绝不能抹掉对方较新的更改。
• 并发：在市场产品中，两个退货表单绝不能对同一件商品重复退款。

最后一个功能构建完成后，评分代理会在真实浏览器中运行测试计划，进行点击、输入并检查结果。

我们使用 Opus 5.5 作为评分器，因为在我们测试过的模型中，它犯的错误最少。为了检验它，我们在可正常运行的构建中一次植入一个 bug，共植入 34 个，而在 bug 可见期间，它从未让任何计划通过。当 GPT-6.1 Sol 对 Opus 判定为通过的 477 个结果重新评分时，99.2% 被确认正确。我们也没有发现 Opus 偏袒 Claude 系列模型构建的迹象。

测试计划检查什么

功能请求描述的是用户期望什么，而不是如何构建它。例如，设计工具撤销功能请求的一部分：

Add undo and redo for changes to objects: creating, editing, moving, deleting, grouping and ungrouping, and renaming or rearranging layers in the layers panel. … Each person has their own undo history, so undo only takes back your own changes, never a collaborator’s. Making a new change clears what you could redo.

然后，测试计划会像用户实际触发规则那样检查该规则。Alice 和 Bob 轮流编辑同一个矩形，然后 Alice 按下撤销：

1. Alice: create rectangle "R" at (100,100), 100x100, fill #CCCCCC.
2. Alice: move R to (300,100).
3. Bob: rename R to "Rocket".
4. Alice: change R's fill to #00AA00.
5. Bob: set R's opacity to 50%.
6. Alice: Undo. Read R on both screens.
...
Verify:
- After 6, R's fill is #CCCCCC while its name is still "Rocket", its opacity still 50% and its position still (300,100).

后续步骤会在 Bob 移动、取消组合或删除形状后重复检查。GPT-6.1 Sol、GPT-6 Astra 和 Opus 5.5 在它们十二个构建中的八个未能通过此计划。该请求和计划都是公开的 [4]。

模型如何比较

官方 ViBench 2.0 结果来自 Fireworks 的运行：每个模型对十七个产品各进行四次构建，使用相同的测试框架和设置。所有构建器均以中等工作量和温度 1.0 运行，并采用相同的限制。README 列出了完整设置。

GPT-6.1 Sol 以 65% 的 pass@1 领先，其次是 GPT-6 Astra 的 60% 和 Opus 5.5 的 49%。这三者都有超过 90% 的测试计划通过，因此它们大多数失败的构建只差几个计划。Sol 每次构建成本约 12 美元，Astra 约 90 美元。DeepSeek V4.1 Flash 的测试计划通过率为 77%，每次构建成本约 2.50 美元，不过没有开放权重模型能通过完整构建。Opus 5.5 平均约 70 分钟完成一次构建，比 Sol 快约 2.5 倍。Opus 生成的 token 仅少约 6%，因此差距主要来自 API 提供商的速度。

各代 GPT 的得分

为了观察得分随模型代际的变化，我们在八个公开产品上自行运行了较早的 GPT 模型，与官方结果分开进行。

Pass@1 随代际上升，从 GPT-5.4 的 0% 到 GPT-6 Sol 的 31%，再到 GPT-6.1 Sol 的 53%，计划通过率则从 42% 攀升至 95%。公开产品上的得分低于全部十七个产品，因此 Sol 在此处的 53% 低于其整体 65%。GPT-6.1 Terra 是截至撰写本文时 OpenAI 的最新模型，其构建通过率为 47%，成本约为 GPT-⁠6.1 Sol 的一半。

顶级模型在哪里失败

顶级模型未通过的计划往往是真实用户会遇到的小细节。以下是四个公开产品的示例：

• 代码托管产品：草稿拉取请求从不显示其合并冲突。
• 文档编辑器：没有人能对表格单元格内的单词发表评论。
• 设计工具：按下撤销可能会撤回队友的更改，而不仅仅是你自己的更改。
• 社区聊天产品：没有角色的服务器所有者无法管理任何人。

大多数测试计划检查的是功能如何协同工作。有两种失败模式尤为突出。在大约每 40 个顶级模型的构建中就有 1 个，产品在 agent 被告知应存在的空数据库上根本无法启动，因为后面的 schema 代码在创建表的语句之前就引用了该表。更常见的情况是，构建在功能交汇处失败，正如上面的例子所示。在这些模型失败的构建中，近四分之三只在这样的交汇处失败。

构建的样子

ViBench 不评判设计，但设计会影响人们如何评判一个产品。由于这是主观的，我们在下方附上了截图以及我们的解读。这些截图展示了我们自己运行时的构建。

同一系列的模型无论做什么产品，产出的设计都相似。规格说明描述的是产品做什么，而不是它长什么样，因此模型会依赖自己的品味。GPT 系列模型倾向于添加插图和醒目的大标题。Claude 系列模型倾向于构建更朴素的界面，更贴近它们所模仿的产品。在朴素的 harness 且提示词中没有设计指导的情况下，连深色主题这样的选择都取决于模型。在图中的代码托管标签页里，Sonnet 5.5 在四个构建中有三个选择了深色主题，而在其他标签页中一个都没有。在我们看来，最好看的构建并不比更朴素的构建更有可能通过。

下一步

如今最好的模型在 ViBench 2.0 上能正确构建产品的大部分，但一次只构建一个功能会暴露它们的局限。新功能必须适配 agent 之前写好的代码，而构建往往正是在这里失败。

我们预计这样的分数会出现在更具成本效益的模型上，包括开放权重模型。以每次构建约 12 美元领先的 GPT-6.1 Sol，是这一趋势的早期迹象。

详细的方法学说明即将发布。最新结果请见 SII 排行榜 和 vibench.ai。

致谢

感谢 Fireworks 团队：Vivek Chauhan 和 Charlie Gu 牵头促成将 ViBench 引入 SII 的合作，以及 Arleen Liu 和 Sandeep Singh 负责运行该基准测试。还要感谢从一开始就与我们合作 ViBench 的 Georgian，特别是 Kartik Gupta 构建了 Harbor 适配器，Aditya Shukla 和 Scott Cui 的支持，以及 Pashootan Vaezipoor 对项目方向的塑造。最后，感谢 Replit 的 AI 团队其他成员对 ViBench 的贡献。

参考文献

1. The Specialized Intelligence Index
2. DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks
3. ViBench: A Benchmark on Vibe Coding
4. ViBench 公开仓库
5. Harbor Framework
6. OpenHands Software Agent SDK

附录

产品名称

ViBench 的产品仅出于评估目的模仿公开产品。产品名称是其所有者的商标，所有者与 ViBench 无关联，也不为其背书。

指标

ViBench 报告四项指标：

1. Pass@1：所有测试计划都通过的构建所占比例。
2. 计划通过率：所有步骤都通过的测试计划所占比例，按产品取平均。
3. 平均成本：模型构建一次的成本，按标价以美元计。
4. 平均构建时间：构建一次的挂钟分钟数，从第一个版本到最后一个功能。

区间为 95% 置信区间，由 vibench 分数 [4] 计算得出，该分数在接近 0% 时使用精确二项区间。所有模型都在一个基于 OpenHands [6] 构建的 agent harness 中运行，因此针对不同配置调优的模型在此处得分可能更低。

来源：Replit：Blog · replit.com