arXiv cs.AI· Utku Boran Torun, Veli Karakaya, Eray T\"uz\"un·· 9 天前AI 评分24
LLM 能否无需代码修复 Bug？面向无代码修复的自动化验证研究
Can LLMs Fix It Without Code? Toward Automated Verification of No-Code Bug Fixes
AI 导读
一项研究提出基于执行的自动化流水线，在真实浏览器环境中评估 LLM 生成无代码修复的能力，覆盖 Faulty Configuration、Wrong Version、External System & Dependency 三类 bug 报告。
正文 · AI 翻译
摘要：无代码修复通过引导用户更改设置、更新到问题已修复的版本或调整其工作流程来解决无效的错误报告。人工验证所提出的无代码修复能否解决所报告的错误需要耗费开发者大量时间。本研究提出了一种基于执行的自动化流水线，用于评估大语言模型（LLM）在真实浏览器环境中生成无代码修复的能力。我们评估了由先前研究基准随附发布的 12 种配置所生成的 322 个无代码修复，涵盖归类为错误配置、错误版本或外部系统与依赖的错误报告。执行代理按照自然语言指令应用每个修复，问题专用检查器则判定所报告的错误是否仍然存在。我们使用三个执行器重复该流水线：两个计算机使用代理 OpenCUA-72B 和 Claude Sonnet 5，以及一个多模态代理式 LLM，Meta 的 Muse Glimmer。只有 17.6% 的候选问题能够完成设置并通过两项健全性检查。在这 322 个修复中，根据执行器的不同，14.6% 至 49.7% 解决了错误，而最强的配置——Vanilla 流水线中的 Claude Opus 4.6——在 Claude Sonnet 5 下解决了其多达 74.1% 的修复。仅更换执行器就会使某配置的解决率平均变化 38.8%，且三个执行器仅在 46.9% 的修复上得出一致结论。与人工执行相比，执行器在 66.1% 至 88.1% 的抽样修复上与人工共识一致。即使在最佳执行器下，也只有不到一半的 LLM 生成的无代码修复解决了所报告的错误，因此此类修复在到达用户之前需要验证。基于执行的验证可以提供这一点，但所测得的能力在很大程度上取决于执行器，评估必须报告并控制这一点。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11963 [cs.SE] |
| （或 arXiv:2610.11963v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11963 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Utku Boran Torun [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 13:44:53 UTC（344 KB）
来源：arXiv cs.AI · arxiv.org