arXiv cs.AI· Marco Paina, Mark Niklas M\"uller, Niels M\"undler-Sasahara, Martin Vechev·· 12 小时前AI 评分44
PROBE 基准：前沿编程智能体发现的 bug 与维护者修复的不同
PROBE: Frontier Coding Agents Find Different Bugs Than Maintainers Fix
AI 导读
研究者推出 PROBE 基准，收录 20 个 GitHub 仓库 18 个月内修复的全部 2,457 个 bug，用于评估编程智能体发现 bug 的能力。前沿模型在该基准上召回率均低于 21%、精确率低于 9%，更强模型可将召回率从 8% 提升到 17%，但精确率没有改善。
正文 · AI 翻译
摘要：主动发现缺陷是一个重要的软件工程问题。尽管编码智能体已在该领域广泛部署，但其能力仍缺乏充分研究。特别是，在整个代码仓库中找出人类维护者会修复的所有缺陷这一具有挑战性的任务尚未被研究。为填补这一空白，我们推出 PROBE，一个包含 20 个多样化 GitHub 仓库在 18 个月内修复的全部 2,457 个缺陷的基准，以及一种将候选发现与该部分参考集进行匹配的方法。我们在前沿模型上评估了编码智能体，发现它们相对于参考集的召回率均低于 $21\%$，精确率低于 $9\%$。虽然更强的模型将召回率从 $8\%$ 大幅提升至 $17\%$，但并未提高精确率。令人意外的是，尽管精确率很低，LLM 和人类评估者仍判定 $85\%$ 的发现是有效的。关键在于，我们发现各智能体发现的缺陷分布相似，但与维护者修复的缺陷分布存在显著差异。缺陷发现的现实相关性以及前沿模型的低召回率，使该基准成为模型用户和开发者都宝贵的资源。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.35987 [cs.SE] |
| （或本版本的 arXiv:2610.35987v1 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2610.35987 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mark Niklas Müller [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 12:04:46 UTC（548 KB）
来源：arXiv cs.AI · arxiv.org