arXiv cs.CL· Yuhao Qing, Boyu Zhu, Mingzhe Du, Zhijiang Guo, Terry Yue Zhuo, Qianru Zhang, Jie M. Zhang, Heming Cui, Siu-Ming Yiu, Dong Huang, See-Kiong Ng, Luu Anh Tuan·· 12 小时前AI 评分38
EffiBench-X：首个衡量 LLM 生成代码效率的多语言基准
EffiBench-X: A Multi-Language Benchmark for Measuring Efficiency of LLM-Generated Code
AI 导读
EffiBench-X 是首个衡量 LLM 生成代码效率的多语言基准，覆盖 Python、C++、Java、JavaScript、Ruby 和 Golang，以人类专家解法作为效率基线。
正文 · AI 翻译
作者：Yuhao Qing、Boyu Zhu、Mingzhe Du、Zhijiang Guo、Terry Yue Zhuo、Qianru Zhang、Jie M. Zhang、Heming Cui、Siu-Ming Yiu、Dong Huang、See-Kiong Ng、Luu Anh Tuan
摘要：现有的代码生成基准主要评估功能正确性，对代码效率的关注有限，且通常局限于 Python 等单一语言。为填补这一空白，我们推出 EffiBench-X，这是首个旨在衡量 LLM 生成代码效率的多语言基准。EffiBench-X 支持 Python、C++、Java、JavaScript、Ruby 和 Golang。它包含以人类专家解决方案作为效率基线的竞赛编程任务。在 EffiBench-X 上评估最先进的 LLM 后发现，尽管模型能生成功能正确的代码，但其效率始终低于人类专家。即使是最有效的 LLM 生成解决方案（Qwen3-32B），平均也仅达到人类效率的约 \textbf{62\%}，且存在显著的特定语言差异。LLM 在 Python、Ruby 和 JavaScript 中的效率优于 Java、C++ 和 Golang。例如，DeepSeek-R1 的 Python 代码效率显著高于其 Java 代码。这些结果凸显了研究 LLM 优化技术以提升跨多种语言代码效率的迫切需求。数据集和评估基础设施已提交，可在 此 https URL 和 此 https URL 获取。
| 评论： | NeurIPS 2025 DB Track |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2505.13004 [cs.CL] |
| （或此版本的 arXiv:2505.13004v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2505.13004 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Huang Dong [查看邮箱]
[v1]
2025年5月19日星期一 11:43:37 UTC（378 KB）
[v2]
2026年10月27日星期二 15:52:00 UTC（757 KB）
来源：arXiv cs.CL · arxiv.org