arXiv cs.CL· Ruize Zheng, Xuyang Liu, Siyu Ren, Xiaobing Tu, Yinggui Wang, Jinkui Ren, Xiantao Zhang, Linfeng Zhang·· 10 小时前AI 评分32
OPMD：面向语言模型的在策略中期训练蒸馏
Beyond Passive Imitation: On-Policy Mid-Training Distillation for Language Models
AI 导读
研究提出在策略中期训练蒸馏（OPMD），将中期训练从离线文本模仿改为查询驱动的知识获取：在选定锚点位置从学生策略采样轨迹，用冻结教师给出的 token 级反向 KL 奖励训练，减少 teacher-forced NTP 的训练-生成不匹配。
正文 · AI 翻译
摘要：持续预训练（CPT）使大语言模型（LLM）适应专业领域，但其标准的下一词预测（NTP）目标将语料库中的每个词元都视为固定目标，而不考虑其对当前模型的效用。在一项针对同一 10 亿词元数学语料库的受控研究中，我们观察到不同基座模型的结果差异显著：NTP 提升了 Llama-3.2-3B 在数学基准上的表现，却大幅降低了 Qwen3-1.7B-Base 的表现，这表明在固定训练配方下，相同的训练序列可能产生依赖于模型的效果。为解决这一问题，我们提出了同策略中期训练蒸馏（OPMD），它将中期训练从离线文本模仿重构为主动的、查询驱动的知识获取。在选定的锚点位置，OPMD 从不断演变的学生策略中采样轨迹，并应用来自冻结教师的密集词元级反向 KL 奖励，在模型实际访问的状态上训练模型，而不仅仅是在真实前缀上训练。这种同策略目标减少了教师强制 NTP 的训练-生成不匹配。在 MATH-500 和 Minerva 上，OPMD 使 Qwen 学生模型的表现超过其基座性能，并优于所评估的 NTP 基线，后者在两个基准上均出现性能下降。OPMD 可集成到 CPT 流程中，且不增加推理时开销，为被动领域适应提供了一种模型感知的替代方案。
| 评论： | 17 页，4 幅图，4 张表 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.13855 [cs.CL] |
| （或 arXiv:2611.13855v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13855 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ruize Zheng [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 10:15:20 UTC（1,842 KB）
来源：arXiv cs.CL · arxiv.org