arXiv cs.CL· Ellen Xiaoqing Tan, Jack Lanchantin, Zichun Yu, Polina Kirichenko, Shehzaad Dhuliawala, Danwei Li, Thao Nguyen, Jing Xu, Ping Yu, Ilia Kulikov, Sainbayar Sukhbaatar, Jason Weston, Xian Li, Olga Golovneva·· 11 小时前AI 评分40
自改进训练与思考：将推理与强化学习提前到预训练阶段
Self-Improving Training & Thinking
AI 导读
研究者提出一种新的预训练与中期训练方法，利用已有的强后训练模型重写数据并评判策略模型 rollout，从而在训练早期引入思考与强化学习。该方法还引入“自改进后思考”概念，通过生成后再推理来提升模型的推理与自我评判能力。实验显示这些方法在多个维度上带来显著增益。
正文 · AI 翻译
作者：Ellen Xiaoqing Tan、Jack Lanchantin、Zichun Yu、Polina Kirichenko、Shehzaad Dhuliawala、Danwei Li、Thao Nguyen、Jing Xu、Ping Yu、Ilia Kulikov、Sainbayar Sukhbaatar、Jason Weston、Xian Li、Olga Golovneva
摘要：大型语言模型通常分阶段训练：先在原始文本上进行预训练，再进行后训练以提升指令遵循和推理能力。然而，这种分离造成了一个根本性局限：安全、事实性、整体生成质量和推理能力等许多理想行为只在后期阶段才被加入，而早期学到的模式却强烈塑造着模型的能力。为解决这一问题，我们引入了一种新的预训练和中训练模型方式，将这些行为更早地纳入其中。我们利用一个已有的强大后训练模型来重写数据并评判策略模型的 rollout，从而在训练中更早地引入思考与强化。我们进一步通过引入自我改进的后思考（self-improving post-thinking）概念来提升所有阶段的推理能力：在生成之后进行推理，以提升模型的推理和自我评判能力。在实验中，我们表明这些方法能在多个维度上带来显著提升。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2601.21343 [cs.CL] |
| （或本版本使用 arXiv:2601.21343v4 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2601.21343 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Jason Weston [查看邮箱]
[v1]
2026年1月29日星期四 07:09:30 UTC（4,141 KB）
[v2]
2026年2月4日星期三 17:31:10 UTC（4,141 KB）
[v3]
2026年4月5日星期日 15:57:55 UTC（4,520 KB）
[v4]
2026年11月5日星期四 14:52:55 UTC（8,945 KB）
来源：arXiv cs.CL · arxiv.org