arXiv cs.CL· Jingyan Shen, Ang Li, Salman Rahman, Yifan Sun, Micah Goldblum, Matus Telgarsky, Pavel Izmailov·· 11 小时前AI 评分38
从预训练到后训练：理解大语言模型的推理能力
Understanding Reasoning from Pretraining to Post-Training
AI 导读
研究以国际象棋为受控实验平台，在 5M 至 1B 参数的语言模型上完整走完预训练、SFT 与可验证奖励 RL 流程，发现给定 RL 算力下的后训练表现可由预训练 loss 较好预测，且 RL 奖励曲线斜率随预训练 token 数近似线性提升。
正文 · AI 翻译
摘要：强化学习（RL）已成为提升大语言模型（LLM）在复杂推理任务上表现的核心手段，然而对 RL 后训练的研究大多与其之前的预训练相互割裂。因此，两个基本问题仍未得到解答：（1）预训练的选择（模型规模、数据）如何影响 RL 算力的回报；（2）RL 究竟对模型做了什么？这些问题在标准 LLM 设定下难以研究：预训练语料规模庞大且不受控制，难以将行为归因于预训练还是 RL，而跨两个阶段进行系统性的算力扫描成本高得令人望而却步。为应对这些挑战，我们以国际象棋作为受控测试平台，研究贯穿从预训练到后训练全流程的推理。我们遵循标准 LLM 训练流程：在人类棋局上预训练 5M 至 1B 参数的语言模型，在合成推理轨迹上进行监督微调，并在具有可验证奖励的棋题上运行 RL。借助这一框架，我们发现：在给定 RL 算力水平下，RL 后的性能可由预训练损失很好地预测，且 RL 奖励曲线的斜率随预训练 token 数近似线性提升。除扩展规律外，我们还发现 RL 并非简单地锐化 SFT 策略：在简单棋题上，它放大了 SFT 策略本就偏好的正确走法；而在困难棋题上，它使在 SFT 下几乎不存在的正确走法浮现出来。我们进一步通过在数学领域文本上训练一个 1B 语言模型，检验我们的发现能否迁移到国际象棋之外，结果出现了相同的预测模式：预训练更久的检查点达到更高的 RL 后性能，并在 RL 下提升更快。总之，我们给出了预训练与 RL 接口的定量描述，并提供了一个受控测试平台，用于研究贯穿从预训练到后训练全流程的推理科学。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2607.16097 [cs.LG] |
| （或本版本的 arXiv:2607.16097v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2607.16097 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jingyan Shen [查看邮箱]
[v1]
2026年7月17日星期五 16:31:58 UTC（2,676 KB）
[v2]
2026年8月9日星期日 03:34:06 UTC（2,685 KB）
[v3]
2026年11月4日星期三 15:59:35 UTC（2,640 KB）
来源：arXiv cs.CL · arxiv.org