arXiv cs.AI· Christoph Daxerer, Johann Glock, Christian Macho, Rudolf Ramler, Martin Pinzger, Josef Pichler·· 12 小时前AI 评分38
编码智能体还需要调试器吗？前沿模型在准确率天花板下的故障定位研究
Do Coding Agents Still Need a Debugger? Frontier-Model-Based Fault Localization at the Accuracy Ceiling
AI 导读
基于 Sol 6.1、Luna 6 和 Qwen 3.8 的编码智能体在 144 个 LeetCodeDataset 解法注入的 610 个单行故障上，无工具时即可定位原始程序 98.2%–99.9%、变换后程序 96.7%–99.9% 的故障。
正文 · AI 翻译
摘要：背景：要定位故障，编码智能体可以仅从源代码进行推理，也可以借助调试器辅助，通过运行程序并在交互式调试器中单步执行。虽然早期的智能体在静态执行跟踪和调试器操作方面表现不佳，但前沿 LLM 在这两方面都有所改进。目标：我们评估编码智能体在没有工具的情况下，对原始程序和变换后程序的故障定位准确度，调试器辅助能在多大程度上提高准确度以及代价如何，以及智能体在可选情况下如何使用调试器。方法：我们向 144 个 LeetCodeDataset 解决方案中植入 610 个单行故障，并用五种保持行为的变换配方重写每个故障程序。基于 Sol 6.1、Luna 6 和 Qwen 3.8 的智能体在无、可选或鼓励调试器辅助的条件下定位每个故障。结果：在没有工具的情况下，智能体在原始程序中定位了 98.2% 至 99.9% 的故障，在变换后程序中定位了 96.7% 至 99.9% 的故障，准确度损失主要出现在配方重构了循环和条件的地方。鼓励辅助消除了 Luna 6 和 Qwen 3.8 剩余变换错误的 63% 和 61%（分别提高 2.1 和 1.3 个百分点），但 token 使用量是原来的 14.7 至 27.0 倍，而 Sol 6.1 保持在 99.9%。在可选辅助下，Luna 6 和 Qwen 3.8 仍分别获得 +1.5 和 +1.3 个百分点的提升，尽管智能体仅在 0.2% 至 6.2% 的运行中使用了交互式调试器。结论：在简短、精确指定的程序上，当前的编码智能体仅凭源代码就能定位几乎所有故障，而调试器辅助能消除剩余的大多数错误。在可以选择的情况下，智能体执行程序的频率远高于单步执行，但仍保留了大部分收益。
| 评论： | 12 页，3 幅图，5 张表 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36015 [cs.SE] |
| （或 arXiv:2610.36015v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36015 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Johann Glock [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 17:20:31 UTC（84 KB）
来源：arXiv cs.AI · arxiv.org