arXiv cs.AI· Anh Ho, Thanh Le-Cong, Bach Le, Christine Rizkallah·· 3 天前AI 评分22
从实证评估到上下文感知增强：用 LLM 修复回归错误
From Empirical Evaluation to Context-Aware Enhancement: Repairing Regression Errors with LLMs
AI 导读
研究团队构建了 RegressionBug4APR 基准，包含从真实 GitHub 仓库收集的 200 个 Java 和 Python 回归 bug，用于评估自动程序修复（APR）技术。实验显示传统 APR 工具无法修复任何 bug，而基于 LLM 的 APR 方法展现出潜力；将 bug 引入变更信息作为上下文后，成功修复数量提升 1.6 倍，且在 Java 和 Python 基准上结果一致。
正文 · AI 翻译
摘要：[...] 此后，各种 APR 方法，尤其是那些利用大型语言模型（LLM）能力的方法，被迅速发展用于修复一般软件缺陷。遗憾的是，这些先进技术在回归缺陷场景下的有效性仍基本未被探索。这一空白促使我们需要开展一项实证研究，评估现代 APR 技术在修复真实世界回归缺陷方面的有效性。
在本工作中，我们对回归缺陷的 APR 技术进行了实证研究。为便于研究，我们引入了 RegressionBug4APR，这是一个高质量的 Java 和 Python 回归缺陷基准，并集成到一个旨在促进 APR 研究的框架中。当前基准包含从广泛使用的真实世界 GitHub 仓库中收集的 200 个回归缺陷。我们首先对该基准进行深入分析，展示其多样性与质量。在此基础上，我们通过评估传统 APR 工具和先进的基于 LLM 的 APR 方法，实证评估 APR 对回归缺陷的能力。实验结果表明，经典 APR 工具无法修复任何缺陷，而基于 LLM 的 APR 方法则展现出有前景的潜力。受这些结果启发，我们研究了将缺陷引入变更信息纳入基于 LLM 的 APR 方法以修复回归缺陷的影响。我们进一步开展消融研究，以分解缺陷引入变更信息中每个上下文元素的贡献。结果表明，这种上下文感知增强显著提升了基于 LLM 的 APR 的性能，相比不使用此类上下文的基于 LLM 的 APR，成功修复数提高了 1.6 倍。此外，我们的发现在 Java 和 Python 基准上均保持一致，为研究结论的普适性提供了初步证据。
| 评论： | 本文已经过同行评审，并被 ACM Transactions on Software Engineering and Methodology (TOSEM) 接受发表 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2506.13182 [cs.SE] |
| （或 arXiv:2506.13182v4 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2506.13182 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Anh Ho [查看邮箱]
[v1]
2025年6月16日星期一 07:49:18 UTC（2,389 KB）
[v2]
2026年6月20日星期六 16:37:07 UTC（2,735 KB）
[v3]
2026年8月25日星期二 01:22:56 UTC（2,704 KB）
[v4]
2026年10月13日星期二 03:32:20 UTC（2,660 KB）
来源：arXiv cs.AI · arxiv.org