arXiv cs.CL· Ezgi Sar{\i}kayak, Wenchao Gu, Hesham Ghonim, Chunyang Chen·· 11 小时前AI 评分39
SWE-Opt：评估 LLM 在面向性能的仓库级优化任务上的基准
SWE-Opt: A Benchmark for Evaluating LLMs on Performance-Oriented Repository-Level Optimization
AI 导读
研究者发布 SWE-Opt，一个基于 102 个开源项目专家优化案例构建的仓库级基准，用参数化测试在噪声感知条件下同时衡量运行时间、峰值内存和 Time-Weighted Memory Usage（TWMU）。
正文 · AI 翻译
摘要：软件性能优化是一项众所周知复杂且依赖人工的任务。尽管大型语言模型（LLM）在代码改进方面的应用日益增多，我们仍然缺乏能够反映优化在真实代码库中实际发生方式的基准测试。现有框架往往通过聚焦孤立函数或单一性能指标来简化问题，忽略了执行时间与内存占用之间的关键权衡、测量环境固有的噪声，以及不同输入数据和执行条件带来的变异性。为此，我们提出了 SWE-Opt，这是一个基于开源项目中 102 项专家编写的优化所构建的仓库级基准测试。与以往的基准测试不同，SWE-Opt 为每个任务配以参数化测试，在噪声感知的测量条件下，跨不同输入数据和执行条件评估运行时、峰值内存以及时间加权内存使用量（TWMU）。我们的评估表明，当前 LLM 表现明显吃力：运行时收益稀疏且不一致，内存优化几乎不存在。采用迭代式仓库探索的智能体设置能显著提升补丁正确性，但并未转化为性能收益。这与专家实现形成鲜明对比：在基准任务上，专家实现实现了 15.5 倍的总体加速和 171.3 倍的峰值内存降低。在 93.1% 的任务中观察到专家编写的运行时改进，在 70.6% 的任务中观察到峰值内存改进。我们的发现揭示了当前 LLM 能力与专家级工程需求之间的巨大差距。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.25530 [cs.SE] |
| （或本版本使用 arXiv:2606.25530v2 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2606.25530 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ezgi Sarıkayak [查看邮箱]
[v1]
2026年6月24日 星期三 08:07:41 UTC（166 KB）
[v2]
2026年10月31日 星期六 15:20:05 UTC（168 KB）
来源：arXiv cs.CL · arxiv.org