arXiv cs.CL· Leilei Ding, Shumin Wang, Yuting Huang, Fanqi Wan, Yinmin Zhang, Qi Han, Yiming Xu, Feiyuan Zhang, Xiaomeng Chu, Guoliang You, Wuyang Zhang, Daxin Jiang, Yanyong Zhang·· 2 天前AI 评分39
Φ-Bench：大语言模型能否工程化支撑自身运行的基础设施？
$\Phi$-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?
AI 导读
研究者发布 Φ-Bench，一个基于真实 LLM 训练与推理代码库构建的基准，含 85 项任务，覆盖九类 LLM 基础设施，任务形式从 kernel 函数补全延伸到长周期实现与仓库级端到端优化。在八个前沿模型中，表现最强的 Claude Opus 5 仅得 36.53%，且所有模型在长周期仓库级实现上的表现都差于 kernel 级任务。该基准将开源。
正文 · AI 翻译
作者：Leilei Ding、Shumin Wang、Yuting Huang、Fanqi Wan、Yinmin Zhang、Qi Han、Yiming Xu、Feiyuan Zhang、Xiaomeng Chu、Guoliang You、Wuyang Zhang、Daxin Jiang、Yanyong Zhang
摘要：大型语言模型（LLM）如今展现出强大的推理与编码能力，这预示着它们或许能够协助开发和优化为其提供支撑的基础设施本身。然而，现有基准主要聚焦于孤立的内核、预定义算子或预先指定的优化目标，无法评估开放式、长周期的 LLM 基础设施工程。为填补这一空白，我们提出了 $\Phi$-Bench，一个包含 85 项任务的基准，这些任务均基于真实的 LLM 训练与推理代码库。任务涵盖 LLM 基础设施的九大类别，并分为三种形式，从内核函数补全到长周期实现，再到仓库级端到端优化。它们由一条构建流水线生成，该流水线将真实的拉取请求、issue 和仓库代码转化为带有验证测试的可执行任务，且每项奖励都受正确性和反作弊检查的约束。在八个前沿模型中，最强的模型 Claude Opus 5 也仅得分 36.53%，且每个模型在长周期、仓库级实现任务上的表现都差于内核级任务。轨迹分析进一步表明，更强的模型将优化视为受控实验，通过低成本的本地运行来验证想法，并在得出结论前排除混杂因素。我们将开源 $\Phi$-Bench，以促进未来关于 LLM 智能体开发和优化支撑自身运行的 LLM 基础设施能力的研究。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.10226 [cs.CL] |
| （或 arXiv:2609.10226v2 [cs.CL] 对应本版本） | |
| https://doi.org/10.48550/arXiv.2609.10226 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuting Huang [查看邮箱]
[v1]
2026年9月9日星期三 14:23:47 UTC（2,390 KB）
[v2]
2026年10月15日星期四 08:37:54 UTC（2,338 KB）
来源：arXiv cs.CL · arxiv.org