跳到正文
arXiv cs.CL· Rui Rua, Hailemariam Mersha, Joao Paulo Fernandes, Karim Ali·· 2 天前AI 评分38

PerfArena:按生成代码性能对 LLM 排名

PerfArena: Ranking LLMs by Code Performance

AI 导读

开源可复现的评测平台 PerfArena 按生成代码的性能对 LLM 排名,同时报告正确性、延迟、峰值内存和能耗。平台已收录 13 个 SOTA LLM 在 7 种编程语言下的 9,455 个正确且完成测量的解,覆盖 CLBGComp 的 10 个计算密集型基准和 LeetCodeComp 的 99 道题。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:如今业界依赖 LLM 编写相当大比例的生产代码。尽管这些代码大多(但并非总是)正确,但仅凭正确性并不能决定它是否适合重复且广泛地使用,这取决于代码在时间、内存和能耗上的成本。然而,大多数代码生成基准都是孤立地评估正确性,而大多数面向性能的基准覆盖的语言很少,且很少测量能耗。为弥补这一空白,我们提出 PERFARENA,一个开源、可复现的竞技场,按 LLM 生成代码在多种语言和竞赛中的性能对其进行排名。PERFARENA 在类 Unix 主机上执行每个 LLM 的解决方案,并报告正确性以及延迟、峰值内存和能耗。正确性判定器、性能判定器、性能分析器和代码生成工作流在 PERFARENA 中均可插拔,从而能够在不改变流水线的情况下集成新的评测后端和测量工具。我们在两个竞赛上评估 PERFARENA:CLBGComp,来自 Computer Language Benchmarks Game 的 10 个计算密集型基准;以及 LeetCodeComp,99 个 LeetCode 问题,其被接受的解决方案在延迟上存在可测量的差异。目前,PERFARENA 收录了来自 13 个最先进 LLM 在 7 种编程语言上的 9,455 个正确且已测量的解决方案。在两个竞赛中,got-6-astra 是唯一在延迟、能耗或峰值内存方面没有其他 LLM 能显著超越的 LLM,它解决了 LeetCodeComp 的 99.7% 和 CLBGComp 的 100%。所有 PERFARENA 排行榜和已测量的解决方案均公开可用,提供了一个持续更新的参考,帮助开发者按语言和指标选择 LLM,而不是仅依赖正确率或定价。
主题: 性能(cs.PF);计算与语言(cs.CL);软件工程(cs.SE)
引用为: arXiv:2611.18030 [cs.PF]
  (或 arXiv:2611.18030v1 [cs.PF] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.18030

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Rui Rua Dr. [查看电子邮件]
[v1] 2026年11月13日星期五 10:58:12 UTC(391 KB)

来源:arXiv cs.CL · arxiv.org