arXiv cs.AI· Nicol\'as Astorga, Nabeel Seedat, Mihaela van der Schaar·· 4 小时前AI 评分34
LLM 在扩展搜索空间中的类优化推理:OPT* 任务族与训练方法
Optimization-like Reasoning in LLMs over Expanding Search Spaces
AI 导读
研究者提出 OPT*,一族可扩展的优化式任务,用于训练和评估 LLM 的逐步类优化推理,通过复杂度参数扩大搜索空间且无需新人工标注。方法涵盖以求解器作为价值预言机的在线策略优化,以及无求解器时的基于搜索离线 RL。实验表明在 OPT* 上训练可提升 LLM 的逐步类优化推理能力。
正文 · AI 翻译
摘要:可验证奖励训练已提升了数学与编码推理能力,但这些领域仅涵盖了逐步决策的一部分。许多现实任务需要在众多可行方案中找到一个高价值的可行计划。我们提出 OPT*,这是一族可扩展的优化类任务,用于沿复杂度轴训练和评估 LLM 的逐步类优化推理:每个任务都提供可行性检查器和评估器,而复杂度参数可扩展搜索空间,且无需新的人工标注。这促使我们在两种情形下研究这些任务:(i) 求解器引导的在线策略优化,将求解器作为部分状态的价值预言机,并应用基于排名的奖励塑形来强化更优的下一步;(ii) 当此类求解器不可用时,采用基于搜索的离线 RL。在理论上,我们将大搜索空间中的成功与推理者每单位搜索预算所提取的信息联系起来。在实证上,我们消融了使搜索在 OPT* 上高效的各项要素,并表明在 OPT* 上训练可提升逐步类优化推理能力。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2606.05464 [cs.AI] |
| (或 arXiv:2606.05464v2 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2606.05464 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Nicolas Astorga [查看邮箱]
[v1]
2026年6月3日 周三 21:43:38 UTC(1,089 KB)
[v2]
2026年11月17日 周二 00:52:17 UTC(1,862 KB)
来源:arXiv cs.AI · arxiv.org