arXiv cs.AI· Xiaobo Chen, Genliang Zhu, Ziyuan Wang, Chu Wang·· 11 小时前AI 评分52
研究：API 迁移后 LLM 代码修复存在静默错误，常规测试放行 41% 错误修复
Accepted but Wrong: Silent Failures of LLM Code Repairs after API Migrations
AI 导读
一项预注册研究用 73 个任务覆盖 CPython、某 URL 库和 SQLite 的 60 项有记录变更，在真实运行时上执行候选修复后发现，基于典型输入的断言门禁放行了 0.410 的错误修复。
正文 · AI 翻译
摘要：在运行时或 API 迁移之后，由 LLM 修复的过程可以顺利运行，却返回错误结果，而针对典型测试输入的发布检查会将其放行。我们报告了一项预注册研究，涵盖 73 项任务，涉及 CPython、this http URL 和 SQLite 中 60 项有文档记录的变更。每个候选方案都在真实运行时上针对保留的契约执行。在整个修复空间中，针对典型输入的全断言门禁放行了 0.410 的错误修复。根据发布说明编写的一个边界输入将其降至 0.065，在 15 个未见过的集群上降至 0.061。由从未见过该程序的盲测 GPT-5.6-luna 编写者提供的三个输入达到 0.070。随后两个冻结阶段将菜单扩大到 1491 个片段，然后添加了 233 个硬干扰项，这些干扰项在典型输入上与旧版输出匹配。边界输入（0.058）和前沿模型编写者（0.058）通过了其预注册测试。然而，仍有 0.168 和 0.153 的硬错误程序通过。两个本地模型编写者未通过其预注册测试。在四个模型家族中，边界输入在全部三个菜单上降低了全部三个开放权重家族中每次尝试的错误放行率，例如从 0.233 降至 0.057，且未降低正确完成率。自测帮助较小。一次盲测 AI 审计将 34 项契约标记为比其要求更严格。删除有争议的检查改变了 0 个判定，但类别标签争议仍未解决。未执行任何模型编写的代码。工件可向作者索取。
| 评论： | 30 页，2 幅图。预注册；工件可向作者索取 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| ACM 分类： | D.2.5；D.2.7；I.2.2 |
| 引用为： | arXiv:2611.08269 [cs.SE] |
| （或 arXiv:2611.08269v1 [cs.SE] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.08269 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaobo Chen [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 16:41:32 UTC（105 KB）
来源：arXiv cs.AI · arxiv.org