arXiv cs.AI· Ke Zhao, Zixiang Di, Hong Qian, Xiang Shu, Yaolin Wen, Qitao Shi, Bingdong Li, Xingyu Lu, Xiangfeng Wang, Jun Zhou, Ke Tang, Yang Yu·· 1 天前AI 评分31
MiniOpt：用有限资源推理建模并求解通用优化问题的轻量级 LLM
MiniOpt: Reasoning to Model and Solve General Optimization Problems with Limited Resources
AI 导读
MiniOpt 是一个通过“推理到建模再求解”范式和两阶段 RLVR 训练框架打造的轻量级优化专用 LLM，在八个优化基准上持续优于现有基于学习的优化模型，且参数量和训练数据大幅减少。团队还提出参数解耦评测协议，将优化结构理解与数值参数处理分离，结果显示 MiniOpt 在该设定下保持优化能力显著优于以往优化专用模型，表明其性能提升主要来自更强的优化结构理解。代码已公开。
正文 · AI 翻译
作者：Ke Zhao、Zixiang Di、Hong Qian、Xiang Shu、Yaolin Wen、Qitao Shi、Bingdong Li、Xingyu Lu、Xiangfeng Wang、Jun Zhou、Ke Tang、Yang Yu
摘要：在训练资源有限的情况下，针对多样化的优化问题实现较强的优化泛化能力，对于面向优化的大语言模型（LLM）而言仍是一个具有挑战性的问题。然而，现有的基于学习的方法通常需要大规模监督数据、昂贵的中间步骤验证以及大量计算资源，同时在多样化的优化结构上表现出有限的优化泛化能力。本文提出 \textsc{MiniOpt}，一个轻量级的优化专用 LLM，通过“推理到建模并求解”范式以及基于可验证奖励的强化学习（RLVR）的两阶段训练框架进行训练。MiniOpt 通过强化优化建模的完整性和优化结果，鼓励面向结构的优化学习。在八个优化基准上的大量实验表明，MiniOpt 在所需参数和训练数据显著更少的情况下，持续优于现有的基于学习的优化模型。为进一步理解优化泛化能力，我们引入了一种互补的参数解耦评估协议，将优化结构理解与数值参数处理分离开来。结果表明，MiniOpt 在参数解耦设置下保持优化能力的效果显著优于以往的优化专用模型，这表明其性能提升主要源于更强的优化结构理解能力。这些发现展示了一条通向高效且可泛化的优化专用 LLM 的有效路径。代码可在 此 https URL 获取。
| 注释： | 36 页，9 幅图，11 张表，项目：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.25832 [cs.LG] |
| （或 arXiv:2606.25832v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.25832 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ke Zhao [查看邮箱]
[v1]
2026 年 6 月 24 日星期三 13:48:06 UTC（530 KB）
[v2]
2026 年 6 月 25 日星期四 05:38:04 UTC（530 KB）
[v3]
2026 年 11 月 12 日星期四 14:32:46 UTC（843 KB）
来源：arXiv cs.AI · arxiv.org