arXiv cs.CL· Minhua Lin, Zijun Wang, Zewen Liu, Zhaotian Weng, Bing He, Zhan Shi, Benoit Dumoulin, Xiang Zhang, Suhang Wang, Hanqing Lu·· 11 小时前AI 评分55
LM2LM：用强化学习训练 LLM 提出模型改进方案
Language Models Learn to Improve Language Models
AI 导读
论文提出 LM2LM，用强化学习训练 LLM 生成有效的语言模型改进提案，并以冻结 LLM 充当研究世界模型（RWM）预测提案收益作为奖励模型，降低真实实验反馈的成本。在八个自回归与扩散模型开发环境上，LM2LM 让 Qwen3.8-27B 在留出任务上超过上下文给出 300 条真实实验记录的 GPT-6-sol，数据生成成本低 33%，并可泛化到训练中未见过的模型家族。
正文 · AI 翻译
摘要：大语言模型（LLM）正越来越多地被用于自动化 AI 研究，包括语言模型（LM）的开发，这为递归式自我改进提供了一条潜在路径。然而，要将实验反馈转化为一种可学习的、能够跨模型提出有效改进方案的能力，面临两个挑战。第一，用真实反馈训练这种能力代价高昂：强化学习（RL）需要评估数万个提案，而每个提案都可能需要完整运行一次模型训练。即便每次运行只需十 GPU 小时，仅收集奖励就会消耗数十万 GPU 小时，因此需要一种更廉价的替代反馈。第二，当提案分布发生偏移时，策略优化会偏向被高估的提案，从而使替代反馈变得不可靠。为应对这些挑战，我们提出 LM2LM，用 RL 训练 LLM 生成有效的 LM 改进提案。为提供可扩展的反馈，我们使用研究世界模型（RWM）——一个冻结的 LLM，它根据上下文中提供的真实实验记录预测提案收益——作为 RL 的奖励模型。为保持反馈的可靠性，我们定期执行当前策略提出、且被 RWM 评为高分的提案，并将其实测结果加入 RWM 的上下文。在八个自回归和扩散 LM 开发环境中，对留出任务进行的真实执行评估表明，LM2LM 使 Qwen3.8-27B 的表现优于 GPT-6-sol，即使 GPT-6-sol 在上下文中获得了 300 条真实实验记录，同时数据生成成本还降低了 33%。LM2LM 还能泛化到训练期间未见过的模型系列。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.23344 [cs.CL] |
| （或本版本的 arXiv:2610.23344v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.23344 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Minhua Lin [查看邮箱]
[v1]
2026年10月16日星期五 11:51:00 UTC（3,243 KB）
来源：arXiv cs.CL · arxiv.org