arXiv cs.CL· Soumye Singhal, Joseph Jennings, Ka Shun Shum, Alexander Bukharin, Khushi Bhardwaj, Zirui Liu, Venkat Srinivasan, Jonathan Li, Yash Jain, Kezhi Kong, Markus Kliegl, Olivier Delalleau, Sanjeev Satheesh, Mostofa Patwary·· 2 天前AI 评分36
为智能体后训练预热的基座模型：一套开放 midtraining 配方
Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe
AI 导读
研究者公开了一套面向智能体后训练的 midtraining 配方，并在 Nemotron 3.5 Lightning 和 Nemotron 3.5 Super 两个模型上验证效果。
正文 · AI 翻译
作者：Soumye Singhal、Joseph Jennings、Ka Shun Shum、Alexander Bukharin、Khushi Bhardwaj、Zirui Liu、Venkat Srinivasan、Jonathan Li、Yash Jain、Kezhi Kong、Markus Kliegl、Olivier Delalleau、Sanjeev Satheesh、Mostofa Patwary
摘要：前沿模型，无论是通用型还是特定领域型，如今都在预训练与后训练之间加入了一个中间训练阶段，但关于该阶段如何构建的公开资料很少。我们提出了一套开放的中间训练配方，使基础模型为智能体后训练做好准备，并在两个不同规模的 Nemotron 模型上展示了其有效性。预训练通常在短上下文下进行，几乎看不到智能体交互，而 SFT 数据大多是合成的，且过长的 SFT 阶段可能损害模型后续的 RL 可训练性。我们的中间训练阶段介于两者之间。它在 256K 上下文下训练数千亿 token，数据混合了多样化的自然软件工程数据，如打包的代码仓库、拉取请求、提交历史和构建日志，并加入一小部分智能体轨迹。在 Nemotron 3.5 Lightning 上，经过相同的完整 SFT 后，500B 中间训练 token 将 SWE-bench Verified 从 60.7 提升至 64.5，SWE-bench Multilingual 从 55.8 提升至 62.8，SWE-bench Pro 从 32.0 提升至 35.5。在更大的 Nemotron 3.5 Super 上，经过相同的完整 SFT 后，280B 中间训练 token 将 DeepSWE（一个更难的长期任务基准）从 11.7 提升至 15.7，SWE-bench Verified 从 72.9 提升至 74.3。中间训练还提升了两个模型在不同智能体框架下的鲁棒性。我们报告了该配方背后的消融实验，以及一套基于短固定 SFT 运行的评估协议，因为基础模型代理指标与后训练结果的相关性并不可靠。
| 评论： | 19 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22019 [cs.CL] |
| （或 arXiv:2610.22019v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22019 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Soumye Singhal [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 14:58:21 UTC（223 KB）
来源：arXiv cs.CL · arxiv.org