arXiv cs.AI· Ruohong Liu, Bohan Tang, Lekang Jiang, Jack Umenberger, Yiwen Guo·· 3 天前AI 评分32
LLM 智能体如何通过结构化配方优化实现自动化后训练
LLM Agents for Automated Post-Training via Structured Recipe Optimization
AI 导读
研究者提出结构化配方优化（SRO），用 LLM 驱动的 Recipe-Space Designer 构建任务自适应配方空间，再由 Multi-Domain Recipe Optimizer 结合结构化试验证据与多目标贝叶斯选择进行联合优化。
正文 · AI 翻译
摘要：自动化后训练通过在有限的实验预算下，自动构建并优化一个由数据源、数据处理、跨域组合和训练配置等相互耦合的决策组成的配方，将预训练大语言模型（LLM）转化为能够处理多样领域的模型。现有自动化方法要么搜索预定义的配方空间，这能实现系统化优化，但其可选方案保持固定，无法根据目标任务进行调整；要么使用开放式智能体，它们能发现任务特定的选择，但将这些选择隐含在试验级别的编辑中，限制了其在多次试验间的系统化复用与重组。为填补这一空白，我们提出了任务自适应配方空间上的优化，这是一种新范式，能够使配方空间本身适应目标任务，同时将其选择显式表示出来，以便系统化复用、重组和联合优化。我们通过结构化配方优化（SRO）来实例化这一范式，它包含一个基于 LLM 的配方空间设计器，用于构建任务自适应配方空间，以及一个多域配方优化器，利用结构化试验证据来指导 LLM 候选构建和多目标贝叶斯试验选择。大量实验表明，SRO 在所有评估的目标模型与智能体 LLM 组合中均取得了最高平均分。在跨三个能力领域和六个基准的联合后训练中，SRO 在 Qwen3-1.7B 搭配 GPT-5.4 上达到 41.1，而最强基线为 15.4；在 Qwen3-4B 搭配 DeepSeek-V4-Flash 上达到 53.8，而最强基线为 40.8。我们的代码可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.18572 [cs.AI] |
| （或 arXiv:2610.18572v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18572 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ruohong Liu [查看邮箱]
[v1]
2026年10月13日星期二 15:39:34 UTC（428 KB）
来源：arXiv cs.AI · arxiv.org