arXiv cs.CL· Zhenhe Wu, Jian Yang, Yaping Jin, Xinlai Kang, Jie Hu, Hanting Chen·· 3 天前AI 评分20
PA1-OPD：面向语言模型预训练的一步前缀增强同策略蒸馏
PA1-OPD: One-Step Prefix-Augmented On-Policy Distillation for Language Model Pretraining
AI 导读
PA1-OPD 在语料前缀知识蒸馏基础上，对每个选定前缀增加一次学生采样转移后的教师反馈，从而扩展监督状态并保留下一 token 预测。
正文 · AI 翻译
摘要：知识蒸馏（KD）通过在语料前缀处匹配教师分布来改进语言模型预训练，但未对学生预测所诱导的上下文提供直接监督。我们提出 PA1-OPD，它在每个选定前缀处进行一次学生采样转移后，用教师反馈增强语料路径蒸馏。这扩展了监督状态，同时保留下一词预测和语料路径 KD。数据锚定的根支持并行采样，可微树注意力共享前缀计算而不改变推理。在两种持续预训练设置中，完全覆盖在 C4、PG-19 和 Pile 上于每个评估检查点都提升了相对于 KD 的留出交叉熵。在 Stage2 中，选择学生困惑度最高的 10% 根，为 KD 相对于下一词训练的 Macro 交叉熵增益增加了 48.85%。当分支监督排除已在语料路径上的后继状态时，增益仍然存在，支持了超出已观察上下文的反馈价值。在每项监督权重不变的情况下，增加深度或广度可改善总体结果，收益因语料而异。这些发现支持将局部学生诱导监督作为预训练蒸馏的补充。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19601 [cs.CL] |
| （或 arXiv:2610.19601v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19601 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zhenhe Wu [查看电子邮件]
[v1]
2026年10月14日星期三 05:23:00 UTC（213 KB）
来源：arXiv cs.CL · arxiv.org