arXiv cs.CL· Siyan Zhao, Yonggan Fu, Jindong Jiang, Shih-Yang Liu, Song Bian, Byung-Kwan Lee, Sharath Turuvekere Sreenivas, Wenliang Dai, Hanrong Ye, Aditya Grover, Pavlo Molchanov·· 9 天前AI 评分24
何时需要 On-Policy 蒸馏？用离线学生 rollout 蒸馏往往更好
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
AI 导读
研究提出 Semi-OPD，用初始学生模型生成的离线 rollout 做蒸馏，在 1.5B 到 235B 参数的 17 组教师-学生配对中，14 组准确率超过 On-Policy 蒸馏（OPD），最高提升 13.6%，训练加速 11.4 倍。作者发现 OPD 仅在教师与学生高度对齐（输出 token 重叠率高）时才有优势，错配时学生 rollout 随上下文变长会越来越偏离教师，削弱蒸馏信号。
正文 · AI 翻译
作者：Siyan Zhao、Yonggan Fu、Jindong Jiang、Shih-Yang Liu、Song Bian、Byung-Kwan Lee、Sharath Turuvekere Sreenivas、Wenliang Dai、Hanrong Ye、Aditya Grover、Pavlo Molchanov
摘要：在线策略蒸馏（OPD）在将教师模型能力迁移到学生模型方面日益流行。在本工作中，我们提出一个关键的研究问题：在线策略采样是否总能有益于任意教师-学生对的蒸馏？我们表明，一个简单的替代方案 Semi-OPD——从初始学生模型生成的离线轨迹中进行蒸馏——在准确率和训练效率上往往都能优于 OPD。在从 1.5B 到 235B 参数的 17 个教师-学生对中，Semi-OPD 在 14 个案例中优于 OPD，准确率最高提升 +13.6%，训练加速最高达 11.4 倍。我们进一步发现，OPD 与 Semi-OPD 之间的选择取决于初始教师与学生之间的对齐程度，可用输出 token 重叠率来量化：只有当两者高度对齐且重叠率很高时，OPD 才有益。我们更深入的研究表明，有效的蒸馏需要同时相对于学生和教师都具有在线策略性。对于未对齐的配对，随着上下文长度增长，学生的轨迹相对于教师可能越来越偏离策略，从而削弱蒸馏信号。相比之下，Semi-OPD 通常更稳定，因为它在较短的上下文上进行蒸馏，同时覆盖完整轨迹，并让学生接触到更多教师偏好的 token。除了提出 Semi-OPD 作为一种高效替代方案外，我们的工作还促使社区重新思考何时使用 OPD，并研究具有有意义教师-学生对的更强 OPD 变体。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11291 [cs.CL] |
| （或此版本的 arXiv:2610.11291v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.11291 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siyan Zhao [查看电子邮件]
[v1]
2026年10月8日星期四 05:54:03 UTC（1,047 KB）
来源：arXiv cs.CL · arxiv.org