阿里等团队发布 Co-Design Bench：编码智能体仅完整完成约四分之一真实任务

来自阿里巴巴和几所亚洲大学的研究人员基于真实用户变更请求构建了一个编码智能体基准测试。即便是最好的模型也仅能完整完成约四分之一的任务，这让旧测试中近乎完美的分数显得耐人寻味。

团队开发了Co-Design Bench，这是一项针对编码智能体的新测试。智能体必须根据用户请求改造现有的 Web 应用，有时还需以图像、录音、视频或文档作为输入。

根据论文，在测试的十个模型中表现最好的GPT-6 Astra平均能满足任务约 70% 的要求。但只有 26.4% 的任务结果完全正确。大多数情况下，智能体完成了大部分工作，但至少留下一个细节未完成，因此使用这些工具的人几乎总是不得不手动收尾。

编码基准测试对智能体来说已变得过于简单

作者通过指出现有基准测试的饱和来为这项新测试辩护。当模型能够运行、检查并修复自己的代码时，它们在这些测试上的得分超过 99%，模型之间的差异几乎无法衡量。

Co-Design Bench 转而取材于真实编码会话中的实际请求。研究人员偏向于用户不得不多次重述请求或回滚更改的案例，因此该测试主要包含在实践中已经给 AI 智能体带来麻烦的任务。这些任务范围从小的调整——比如从收据中提取金额并更新每个依赖的总计——到全面的项目改造。

评分同样严格。一名 AI 评审员在浏览器中测试完成的应用程序，然后第二名评审员重新检查每一个正面判定，并查找模拟界面或硬编码结果。只有真正在应用中生效的功能才能得分。

在 GPT-6 Astra 之后，Claude Opus 5 和 Qwen3.8-Max 占据接下来的位置，而 Grok 4.6 排名垫底。在更大规模的改造中，规模小得多的 Qwen3.8-27B 攀升至第二，但作者并未从这一结果中得出该模型具有普遍优势的结论。

当一项任务结合更多类型的变更（包括布局、设计、交互和内容）时，所有模型的表现都会下降。但这些相互交织的要求在真实项目中是常态

额外的算力对弥补这一弱点几乎无济于事。GLM-5.2 在较小变更上消耗的 token 数量几乎是 GPT-6 Astra 的六倍，得分却仍然明显更差。

在另一项独立测试中，研究人员在不同的运行框架（即智能体读取、写入和执行代码所依托的程序）中运行了相同的模型。Qwen3.8-27B 在较大规模的改造任务上，根据环境不同，得分分别为 75% 或仅 56%。两个模型中哪一个更胜一筹，同样取决于环境。

因此，仅列出模型的排行榜只能说明部分情况。作者建议始终将模型与工作环境一并报告。对于挑选编码智能体的公司而言，这意味着要将这两个组成部分作为一个整体进行测试。

新基准确实存在局限。它对每个任务只评估一个固定请求；用户的追问或任务中途的纠正不在测试范围内。AI 评判者也可能出错。

研究机构 METR 的一项研究已经表明，基准测试结果与实际可用性之间可能相差甚远。项目负责人对 AI 生成代码的实际接受率，比广泛使用的 SWE-bench Verified 上的得分低约 24 个百分点。

测试环境中的缺陷也可能让智能体在并未真正解决问题的情况下通过任务。不过，工作环境的影响并非一目了然。一项关于编码智能体的近期研究发现，更精细的运行框架几乎没带来任何可测量的收益，尽管它们消耗的 token 最多可达三倍。