arXiv cs.CL· Rui Rua, Hailemariam Mersha, Joao Paulo Fernandes, Karim Ali·· 2 天前AI 评分38
PerfArena:按生成代码性能对 LLM 排名
PerfArena: Ranking LLMs by Code Performance
AI 导读
开源可复现的评测平台 PerfArena 按生成代码的性能对 LLM 排名,同时报告正确性、延迟、峰值内存和能耗。平台已收录 13 个 SOTA LLM 在 7 种编程语言下的 9,455 个正确且完成测量的解,覆盖 CLBGComp 的 10 个计算密集型基准和 LeetCodeComp 的 99 道题。
正文 · AI 翻译
摘要:如今业界依赖 LLM 编写相当大比例的生产代码。尽管这些代码大多(但并非总是)正确,但仅凭正确性并不能决定它是否适合重复且广泛地使用,这取决于代码在时间、内存和能耗上的成本。然而,大多数代码生成基准都是孤立地评估正确性,而大多数面向性能的基准覆盖的语言很少,且很少测量能耗。为弥补这一空白,我们提出 PERFARENA,一个开源、可复现的竞技场,按 LLM 生成代码在多种语言和竞赛中的性能对其进行排名。PERFARENA 在类 Unix 主机上执行每个 LLM 的解决方案,并报告正确性以及延迟、峰值内存和能耗。正确性判定器、性能判定器、性能分析器和代码生成工作流在 PERFARENA 中均可插拔,从而能够在不改变流水线的情况下集成新的评测后端和测量工具。我们在两个竞赛上评估 PERFARENA:CLBGComp,来自 Computer Language Benchmarks Game 的 10 个计算密集型基准;以及 LeetCodeComp,99 个 LeetCode 问题,其被接受的解决方案在延迟上存在可测量的差异。目前,PERFARENA 收录了来自 13 个最先进 LLM 在 7 种编程语言上的 9,455 个正确且已测量的解决方案。在两个竞赛中,got-6-astra 是唯一在延迟、能耗或峰值内存方面没有其他 LLM 能显著超越的 LLM,它解决了 LeetCodeComp 的 99.7% 和 CLBGComp 的 100%。所有 PERFARENA 排行榜和已测量的解决方案均公开可用,提供了一个持续更新的参考,帮助开发者按语言和指标选择 LLM,而不是仅依赖正确率或定价。
| 主题: | 性能(cs.PF);计算与语言(cs.CL);软件工程(cs.SE) |
| 引用为: | arXiv:2611.18030 [cs.PF] |
| (或 arXiv:2611.18030v1 [cs.PF] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.18030 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Rui Rua Dr. [查看电子邮件]
[v1]
2026年11月13日星期五 10:58:12 UTC(391 KB)
来源:arXiv cs.CL · arxiv.org