arXiv cs.AI· Zhengxin Zhang, Maosen Tang, Ning Wang, Changhao Li, Jingren Zhou, Bo Dai, Sainyam Galhotra, Alex Townsend, Claire Cardie·· 2 天前AI 评分24
STOPD：随机截断 rollout 的 on-policy 蒸馏方法
Does On-Policy Distillation Need to Complete Every Rollout?
AI 导读
研究者提出 Stochastic Truncated On-Policy Distillation（STOPD），通过随机截断学生模型的 rollout 并用分块逆概率加权（IPW）修正采样偏差，来加速 on-policy 蒸馏（OPD）。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）通过对学生生成的 rollout 提供反馈，有效地将能力从教师模型迁移到学生模型。然而，生成完整的学生 rollout 并为每个 token 计算教师反馈使得 OPD 的计算成本很高。我们提出了随机截断在线策略蒸馏（STOPD），通过随机截断学生 rollout 并使用分块逆概率加权（IPW）校正由此产生的采样偏差，从而加速 OPD。在每个训练步骤中，我们在生成前为每个 rollout 采样一个停止位置，并让学生生成到该位置或自然终止。我们获取每个已生成 token 的教师反馈，并使用分块 IPW 来补偿保留较后 token 的较低概率，同时控制权重。我们证明该加权在期望上保持了 Vanilla OPD 的梯度总和，并推导了 SGD、Adam 和 Muon 的单步更新误差界。我们在多个教师-学生模型对、任务领域和优化器上评估了 STOPD。STOPD 将生成的 token 减少了 25-48%，同时保持与 Vanilla OPD 相当的准确率，实现了 1.3-2.2 倍的训练加速。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21337 [cs.LG] |
| （或 arXiv:2610.21337v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21337 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sainyam Galhotra [查看电子邮件]
[v1]
2026年10月15日星期四 06:22:08 UTC（943 KB）
来源：arXiv cs.AI · arxiv.org