arXiv cs.AI· Pujun Zheng, Zixin Shang, Shufan Jiang, Wenhui Tian, Dongsheng Zhu, Zerun Ma, Dingbo Yuan, Qi Zhang·· 6 天前AI 评分44
SWE-Bench Pro Verified：面向软件工程智能体的可靠基准
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
AI 导读
针对 SWE-Bench Pro 存在的奖励黑客与任务质量问题，研究者推出 SWE-Bench Pro Verified。该版本通过防黑客机制消除主要泄漏渠道，并对缺陷实例做最小化修正。评估显示部分模型表现明显低于此前结果，表明原有分数可能高估了真实软件工程能力。
正文 · AI 翻译
摘要：SWE-Bench Pro 已成为评估软件工程智能体在具有挑战性的仓库级任务上表现的标准基准。然而，我们的分析工作表明，其评估受到两个不可靠来源的削弱：奖励黑客行为，由黄金解决方案或隐藏评估信息的泄露所导致；以及任务质量问题，包括误导性的问题陈述和范围不当的测试。这些问题可能夸大基准性能，并掩盖智能体真实的编码能力。我们提出 SWE-Bench Pro Verified，这是 SWE-Bench Pro 的一个经过验证的版本，可解决上述两个问题。我们的方法结合了反黑客防护措施——在不干扰智能体正常功能的情况下消除主要泄露渠道——以及任务精炼，以最小程度修正有缺陷实例内部的不一致之处。在 SWE-Bench Pro Verified 上的评估显示，一些模型的表现远差于此前评估的结果，这表明 SWE-Bench Pro 上的现有结果可能高估了真实的软件工程能力。SWE-Bench Pro Verified 为评估软件工程智能体提供了一个更值得信赖的基准。
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2609.08149 [cs.AI] |
| （或本版本使用 arXiv:2609.08149v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.08149 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dingbo Yuan [查看电子邮件]
[v1]
2026年9月8日星期二 02:29:58 UTC（1,396 KB）
[v2]
2026年9月16日星期三 03:28:37 UTC（1,396 KB）
[v3]
2026年10月9日星期五 02:16:00 UTC（1,395 KB）
来源：arXiv cs.AI · arxiv.org