arXiv cs.CL· Han Peng, Xing Hu, Feifei Niu, Huan Li, Xin Xia·· 6 天前AI 评分29
SWE-bench 补丁性能实证研究：正确修复的运行表现差异
Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution
AI 导读
一项实证研究利用 SWE-bench 和 SWE-bench-Live 的内置 FAIL_TO_PASS 测试评估补丁运行性能，选取 Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 和 Qwen 3.8 Max 四个前沿模型搭配 SWE-agent，在 262 个存在至少两种正确解法的案例上测量指令数与墙钟时间。
正文 · AI 翻译
摘要：诸如 SWE-bench 之类的仓库级问题解决基准主要根据提交的补丁是否通过正确性测试来评估它们，而不同通过测试的补丁的运行时性能在很大程度上仍未得到探索。评估补丁性能至关重要但颇具挑战，因为为每个基准实例设计性能工作负载成本高昂。然而，这些基准已经提供了一个天然的候选：内置的 \emph{FAIL\_TO\_PASS}（F2P）测试，它们会执行受问题修复影响的行为。因此，我们研究所提供的 F2P 测试能否被重新用于评估补丁性能。总体而言，我们选择了四个前沿模型——Claude Opus~5、GPT~5.6、DeepSeek V4 Pro 和 Qwen~3.8 Max——与 SWE-agent 配对，以解决来自 SWE-bench 和 SWE-bench-Live 已验证划分的预筛选可测量语料库，得到 262 个至少有两种不同正确解决方案（包括开发者真实补丁）的案例。然后，我们在原生 F2P 测试上以指令数和挂钟时间衡量每个解决方案的运行时性能，并使用 Welch ANOVA 而非先前工作中提出的 RSD 作为更稳健的统计判别标准。我们发现，该方法在运行时性能方面表现出显著的判别能力，并在近一半的实例中识别出补丁之间的性能差异。我们的实证研究表明，生成补丁的运行时性能与 LLM 的问题解决率无关，模型排名几乎相反。案例研究还表明，性能分析揭示了某些补丁中正确性评估所忽略的架构回归。这些发现表明，解决率不足以刻画 LLM 在仓库级问题解决方面的能力，促使未来的评估在考虑解决率的同时也考虑补丁性能。
| 主题： | 软件工程（cs.SE）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13563 [cs.SE] |
| （或 arXiv:2610.13563v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13563 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Han Peng [查看电子邮件]
[v1]
2026年10月9日星期五 13:17:53 UTC（795 KB）
来源：arXiv cs.CL · arxiv.org