arXiv cs.AI· Soham Dan, Jeff Da, Sanyam Bhutani, Miguel Romero Calvo, Ivan Guevara, Fernando Carabedo, Jose Bernal, Julio Reyna, Luis Leandro Monsalve Mendez, Ying Liu, Daniel Yue Zhang·· 1 天前AI 评分55
SWE-Bench Pro V2 发布：更干净、更难刷分的编码基准
SWE-Bench Pro V2: A Cleaner, Harder-to-Game Coding Benchmark
AI 导读
SWE-Bench Pro V2 发布，修复或淘汰了 731 个任务中的 480 个，并加固评测协议以限制网络访问、在干净容器中重新评分。23 名签约工程师投入 404 小时，每条修订指令由第二名工程师仅凭文本独立解题验证。在 642 个 V2 任务上，前沿智能体最高解决 99.4%，51 个任务的 Hard 子集得分区间为 52.9% 至 98.0%。
正文 · AI 翻译
作者：Soham Dan、Jeff Da、Sanyam Bhutani、Miguel Romero Calvo、Ivan Guevara、Fernando Carabedo、Jose Bernal、Julio Reyna、Luis Leandro Monsalve Mendez、Ying Liu、Daniel Yue Zhang
摘要：SWE-Bench Pro 是一个被广泛使用的、面向编码智能体的长周期软件工程任务基准。随着智能体能力的提升，它们会触及此前智能体从未接触过的任务问题，并以原始评测框架未曾预料的方式与评测环境交互。我们提出 SWE-Bench Pro V2，这是一个经过修订的公开划分，旨在随着能力进步保持基准的准确性。通过智能体审计、专家裁定和盲式重新实现，修复或淘汰了 731 个任务中的 480 个：23 名签约工程师共投入 404 小时，每人使用其职业上使用的语言工作，并且每条修订后的指令都由第二名工程师仅依据文本独立解题进行验证。加固后的协议将网络访问限制为仅模型端点，并在干净容器中重新评分每个补丁，因此智能体无法获取上游修复，也无法因补丁之外的更改而获得分数。在 642 个 V2 任务上，前沿智能体的解决率最高达 99.4%，而其他系统则明显区分开来；一个包含 51 个任务的 Hard 划分将各系统的解决率分布在 52.9% 至 98.0% 之间。我们发布了该基准，并提炼了长期维护智能体基准的经验教训。
| 评论： | 数据集：此 https URL |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.24206 [cs.SE] |
| （或 arXiv:2610.24206v2 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.24206 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Soham Dan [查看电子邮件]
[v1]
2026年10月16日星期五 20:26:37 UTC（104 KB）
[v2]
2026年11月11日星期三 02:55:51 UTC（100 KB）
来源：arXiv cs.AI · arxiv.org