arXiv cs.CL· Clarissa Miranda-Pena, Andrew Reeson, C\'ecile Paris, Josiah Poon, Jonathan K. Kummerfeld·· 10 小时前AI 评分40
静态分析方法检测与缓解代码库幻觉的实证分析
An Empirical Analysis of Static Analysis Methods for Detection and Mitigation of Code Library Hallucinations
AI 导读
在需要调用库的 NL-to-code 基准上，LLM 有 8.1-40% 的回复使用了不存在的库功能。静态分析工具可检测 16-70% 的全部错误和 14-85% 的库幻觉，性能随模型与数据集变化；人工分析显示其理论上限为 48.5%-77%。该研究已被 TMLR 接收。
正文 · AI 翻译
摘要：尽管已有大量研究，大型语言模型在生成代码时仍会产生幻觉，尤其是在使用库时。在需要用到库的 NL-to-code 基准测试中，我们发现 LLM 在 8.1-40% 的回复中生成的代码使用了不存在的库功能。一种直观的检测与缓解幻觉的方法是静态分析。本文分析了静态分析工具的潜力，既包括它们能解决什么，也包括它们不能解决什么。我们发现静态分析工具可以检测出全部错误中的 16-70%，以及库幻觉中的 14-85%，其性能因 LLM 和数据集而异。通过人工分析，我们识别出静态方法无法合理捕获的情况，这给出了其潜力的上限，从 48.5% 到 77%。总体而言，我们表明静态分析方法是一种应对某些形式幻觉的低成本方法，并且我们量化了它们始终无法完全解决问题的差距。
| 评论： | 已被 Transactions on Machine Learning Research (TMLR) 接收发表 |
| 主题： | 计算与语言 (cs.CL)；软件工程 (cs.SE) |
| 引用为： | arXiv:2604.07755 [cs.CL] |
| （或 arXiv:2604.07755v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.07755 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Clarissa Miranda Pena [查看邮箱]
[v1]
2026年4月9日星期四 03:21:30 UTC (229 KB)
[v2]
2026年4月10日星期五 05:53:25 UTC (229 KB)
[v3]
2026年11月6日星期五 01:28:41 UTC (566 KB)
来源：arXiv cs.CL · arxiv.org