arXiv cs.AI· Runda Guan, Xiangqing Shen, Jiajun Zhang, Yifan Zhang, Jian Cheng, Rui Xia·· 13 小时前AI 评分38
OMSO：用求解器结果强化学习训练 LLM 优化建模
Learning to Model Optimization Problems from Solver Outcomes
AI 导读
研究者提出 OMSO，将数学规划求解器作为确定性交互环境，用强化学习从执行结果中学习优化建模，无需过程级监督。在 NL4OPT、MAMO、IndustryOR 和 OptiBench 上，跨 Gurobi、OR-Tools、COPT 测试显示其匹配或超越过程监督 SFT，并支持零样本免训练迁移与直接 RL 训练。
正文 · AI 翻译
摘要：利用 LLM 自动化优化建模是通向可扩展决策智能的一条有前景的路径，但现有方法要么依赖基于闭源 LLM 构建的智能体流水线，推理延迟高，要么使用昂贵的流程监督微调较小的 LLM，而这类监督往往对单一求解器 API 过拟合。我们研究如何利用廉价的结果标签进行强化学习，以改进优化建模，并支持在异构求解器环境之间复用。为此，我们提出基于求解器结果的优化建模（OMSO），它将强化学习（RL）与数学规划求解器结合，把求解器作为确定性的交互式环境。给定自然语言问题和目标求解器，OMSO 生成求解器专用代码，在沙箱化执行框架中运行，并将执行结果转换为标量奖励，形成闭环的生成—执行—反馈—更新过程。该 RL 形式无需流程级监督即可学习优化建模，并通过切换求解器环境而非重建求解器专用数据集来支持跨求解器泛化。在 NL4OPT、MAMO、IndustryOR 和 OptiBench 上，针对 Gurobi、OR-Tools 和 COPT 的实验表明，OMSO 达到或超过流程监督 SFT，支持零样本免训练迁移、直接 RL 训练和 SFT 冷启动 RL，并在求解器 API 使用之外提升了建模推理和语义正确性。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2604.00442 [cs.AI] |
| （或本版本的 arXiv:2604.00442v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2604.00442 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Runda Guan [查看邮箱]
[v1]
2026年4月1日 星期三 03:39:11 UTC（668 KB）
[v2]
2026年10月28日 星期三 05:12:19 UTC（880 KB）
来源：arXiv cs.AI · arxiv.org