arXiv cs.AI· Josip Vrdoljak, Akash Singh, Bas Steunebrink, Alex Yarotsky, John Lorenzo, Achille Nicoletti, Sam Pigott·· 10 小时前AI 评分58
ExpertCrowd-SWE 基准：在陌生代码库中评测前沿编码智能体
ExpertCrowd-SWE: Measuring Frontier Coding Agents on Expert-Authored Engineering Tasks in Unfamiliar Codebases
AI 导读
研究者发布 ExpertCrowd-SWE（EC-SWE）基准，包含 100 个由工程师撰写的多文件软件工程任务，覆盖 87 个开源项目和 11 种语言，用于评测自主编码智能体在大型陌生代码库中的表现。
正文 · AI 翻译
摘要：ExpertCrowd-SWE（EC-SWE）是一个包含 100 个由专家编写的多文件软件工程任务的基准，用于评估自主编码智能体在大型、不熟悉的代码库中的表现。每个任务都是执业工程师针对真实仓库的固定提交编写的变更请求，并配有密封的参考解决方案和任务专属评分器，其加权、大多可执行的评分标准可给予部分分数；必须通过的阻断项和通过/失败门槛编码了维护者会拒绝合并的内容。这些任务涵盖 87 个开源项目和 11 种语言。工单中位数为 148 词，而参考解决方案中位数修改 471 行。每个任务镜像在发布前都经过校准，使参考解决方案得分为 1.0，而未改动的仓库和惰性变更得分均为 0；近一半任务还附带替代性、惰性和对抗性控制补丁，评分器必须正确分类。最终 100 个任务是根据对当前前沿模型的难度筛选出来的。我们在单一平台测试框架中评估了七个前沿模型，每个运行五次（共 3,495 次评分运行），该框架为每个模型提供其提供商原生的工具接口。Claude Opus 5.5（67.3%）和 GPT-6 Astra（63.7%）领先，且差距在统计上不显著，其次是 Claude Fable 5.1（46.5%）、Gemini 3.8 Flash（40.0%），以及统计上无法区分的 Qwen 3.8 Max、DeepSeek V4.1 Flash 和 Grok 4.6 组（32-34%）。没有任何任务被所有模型完全解决，在 80 个任务上没有任何模型在全部五次运行中获得满分。分数跨度达 35 分。根据模型不同，智能体每次运行的中位步数为 33 到 166 步，与分数关系不大。我们发布 24 个任务及其环境、评分器和结果，保留 76 个以限制污染。
| 评论： | 17 页，5 幅图，6 张表。数据集：此 https URL；排行榜：此 https URL |
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2611.13246 [cs.AI] |
| （或 arXiv:2611.13246v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13246 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Josip Vrdoljak [查看电子邮件]
[v1]
2026 年 11 月 9 日星期一 21:20:57 UTC（152 KB）
来源：arXiv cs.AI · arxiv.org