arXiv cs.AI· Ravishka Rathnasuriya, Wei Yang·· 9 天前AI 评分26
LLM 代码生成中的过度自信失败问题研究
Characterizing Overconfident Failure in LLM-Based Code Generation
AI 导读
研究针对 LLM 代码生成中错误程序常以与正确程序相当的 token 级置信度输出的过度自信困境，在四个开源代码模型和三个基于执行的基准上展开分析。结果显示，现有不确定性信号仅提供部分且依赖模型的执行失败证据，程序级与 token 级过度自信均持续存在，基于不确定性的筛选无法稳定提升接受集准确率。指令微调会提高失败生成的确定性却不改善正确性判别，常见缓解手段也无法可靠解决该失败模式。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地被用于自动化代码生成，但生成的程序可能看起来语法上合理，却仍然无法通过基于执行的正确性检查。现有的验证方法，如测试和程序分析，仍然必不可少，但往往不完整、成本高昂，或仅在生成之后才应用。因此，模型衍生的不确定性是一种自然的早期可靠性信号。本文研究了代码 LLM 中过度自信的困境，即错误程序往往以与正确程序相当的 token 级置信度生成。我们在四个开源代码模型和三个基于执行的基准上研究了这一困境。我们的分析首先考察现有的不确定性度量是否为代码生成中的执行正确性提供了可靠的代理指标。然后，我们在全局和局部 token 层面刻画过度自信，追问在置信度和熵汇总下，包括选择性生成和指令微调的局限，错误程序是否仍然与正确程序无法区分。最后，我们评估常见的缓解策略是否能减少这种失败模式。我们的研究得出四项发现。第一，现有的不确定性信号仅提供执行失败的部分且依赖模型的证据。第二，过度自信在程序和 token 层面都持续存在，基于不确定性的选择并不能持续提高接受集的准确率。第三，指令微调可能增加对失败生成的确定性，却不能持续改善正确性判别。第四，常见的缓解技术改善了可靠性的特定方面，但不能可靠地解决过度自信的失败。我们的探索性潜在分析表明，隐藏表示可能编码了输出置信度未暴露的与正确性相关的信号。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11300 [cs.SE] |
| （或 arXiv:2610.11300v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11300 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ravishka Rathnasuriya [查看电子邮件]
[v1]
2026年10月8日星期四 06:07:44 UTC（879 KB）
来源：arXiv cs.AI · arxiv.org