arXiv cs.AI· Hua Lu, Pengcheng Wang, Han Li, Zichen Tian, Yanyu Chen, Huang He, Bingjin Chen·· 3 天前AI 评分32
SWEPatchTest：评估超越复现的软件测试
SWEPatchTest: Evaluating Software Tests Beyond Reproduction
AI 导读
SWEPatchTest 是一个测试生成基准，包含来自 SWE-bench Pro、SWE-bench Multilingual 和 DeepSWE 的 619 个任务及 82,579 个候选补丁，通过联合衡量问题复现、正确补丁接受与错误补丁拒绝来评估测试质量。
正文 · AI 翻译
摘要：编码智能体使用生成的测试来判断所提出的补丁是否满足问题的要求。一个在缺陷程序上失败、在应用参考补丁后通过的测试套件，仍可能接受错误的补丁或拒绝正确的补丁。我们提出了 SWEPATCHTEST，这是一个测试生成基准，包含来自 SWE-bench Pro、SWE-bench Multilingual 和 DeepSWE 的 619 个任务，以及从编码智能体轨迹中收集的 82,579 个候选补丁。通过在缺陷代码库和已打补丁的代码库上重放每个测试套件，\benchmark 联合衡量问题复现、正确补丁的接受以及错误补丁的拒绝。联合验证率（JVR）要求在同一任务上同时满足这三项标准，它揭示了单一参考评估所掩盖的失败：表现最佳的配置仅达到 9.21% 的 JVR，尽管它在 59.29% 的任务上复现了参考转变。我们进一步使用验证分数来为监督微调（SFT）选择和扩展演示。由此得到的训练配方使 JVR 大约提升至三倍，并改善了三个 SWE-bench 基准上的下游修复效果。因此，补丁区分既提供了测试质量的诊断性度量，也提供了一种基于执行的信号，用于筛选智能体训练数据。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18004 [cs.SE] |
| （或 arXiv:2610.18004v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18004 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Zichen Tian [查看电子邮件]
[v1]
2026年10月13日星期二 09:04:57 UTC（678 KB）
来源：arXiv cs.AI · arxiv.org