arXiv cs.CL· Tongwei Deng, Jinyu Zhu, Yue Cao, Chenxu Wang, Yanzhen Zou, Bing Xie·· 3 天前AI 评分33
LintEval：面向 LLM 的 Linter 引导文件重构基准
LintEval: Benchmarking LLMs on Linter-Guided File Refactoring
AI 导读
LintEval 是一个覆盖 C++、Python、Java 的多语言基准，包含 13,061 个程序与 171,662 条 lint 告警，用于评测模型在保持功能正确的前提下减少 lint 告警的能力。
正文 · AI 翻译
摘要：Linter 广泛用于代码维护和实时 IDE 编辑中，以呈现与源文件中性能、风格、易错及其他模式相关的 lint 告警。然而，现有的代码基准并未明确评估由 linter 引导的文件重构，即模型必须在保持正确初始功能并满足功能保持的前提下减少源文件中的 lint 告警。我们提出了 LintEval，一个面向 C++、Python 和 Java 的 linter 引导文件重构多语言基准，包含 13,061 个具有正确初始功能的程序和 171,662 条使用特定语言 linter 提取的 lint 告警。LintEval 联合评估功能保持、lint 告警减少、新告警避免和编辑最小性。实验揭示了一个持续存在的权衡：闭源商业模型可达到高达 90.4% 的 Reduction@P，但仅实现 67.1%-68.3% 的 Pass@1，而若干开源小模型则表现出较低或负的 Reduction@P。一项受控微调研究进一步表明，监督格式很重要：面向重构的 SFT 将 Qwen2.5-Coder-7B 的 Reduction@P 从 24.7% 提升至 76.0%。LintEval 能够对在功能保持下改进源文件的模型进行受控评估。
| Comments: | 被 EMNLP 2026 Findings 接收。代码可在 this https URL 获取 |
| Subjects: | 软件工程（cs.SE）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.20027 [cs.SE] |
| （或 arXiv:2610.20027v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20027 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Tongwei Deng [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 11:36:55 UTC（498 KB）
来源：arXiv cs.CL · arxiv.org