FrontierOR：评测 LLM 在大规模优化问题中设计高效算法的能力
FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization
FrontierOR 是首个基于文献构建的基准，用于评测 LLM 在真实大规模优化问题上生成高效算法的能力，包含 180 个源自顶级运筹学期刊论文的任务及隐藏的专家验证评测集。结果显示，最强 LLM 在 Full-set 任务实例上仅成功 39%，成功定义为在 Gurobi 运行时间内返回可行解且目标差距不超过 1%；在 Hard 子集上，测试时进化将最强单次模型的比例从 51% 提升至 78%。
作者：Minwei Kong、Chonghe Jiang、Ao Qu、Wenbin Ouyang、Zhaoming Zeng、Xiaotong Guo、Zhekai Li、Junyi Li、Yi Fan、Xinshou Zheng、Xi Jing、Yikai Zhang、Zhiwei Liang、Seonghoo Kim、Runqing Yang、Zijian Zhou、Sirui Li、Han Zheng、Wangyang Ying、Ou Zheng、Chonghuan Wang、Jinglong Zhao、Hanzhang Qin、Cathy Wu、Paul Pu Liang、Jinhua Zhao、Hai Wang
摘要：大语言模型（LLM）正越来越多地用于优化建模和求解器代码生成，但实际的运筹学与优化问题往往需要一种更难的能力：设计可扩展的算法，利用问题结构并超越直接建模求解的基线方法。现有基准局限于规模较小或经过简化的示例，远低于真实世界的规模与复杂度。我们提出 FrontierOR，这是首个以文献为依据、面向真实大规模优化问题、评估 LLM 生成算法效率的基准。FrontierOR 包含 180 个多样化任务，每个任务均源自发表于顶级运筹学期刊的论文，配有标准化实例以及隐藏的、经专家验证的评测套件。我们评估了近期 LLM 的一次性算法生成能力，以及通过若干自演化框架所取得的改进。结果表明，当前模型仍难以从可执行的建模方案迈向高效的优化算法。即便是最强的 LLM，也仅在 Full 集任务实例中的 39% 上取得成功，其中成功定义为在其运行时间内返回可行解，且相对于 Gurobi 的目标差距至多为 1%。在 Hard 子集上，测试时演化将这一比例从最强一次性模型的 51% 提升至 78%。FrontierOR 提供了一个持续维护的测试平台，用于在统一协议和受控计算设置下评估 LLM 设计的优化算法。代码与数据已公开发布于此 https URL。
| 评论： | 被接收为 NeurIPS 2026 海报（评估与数据集方向） |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.25246 [cs.AI] |
| （或本版本使用 arXiv:2605.25246v4 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2605.25246 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Minwei Kong [查看邮箱]
[v1]
2026年5月24日周日 20:10:42 UTC（1,785 KB）
[v2]
2026年5月26日周二 13:18:52 UTC（1,785 KB）
[v3]
2026年5月30日周六 22:51:15 UTC（1,785 KB）
[v4]
2026年11月11日周三 22:12:04 UTC（1,654 KB）
来源：arXiv cs.AI · arxiv.org