arXiv cs.AI· Sirui Chen, Yunzhe Qi, Haobo Xu, Jiaru Zou, Mengting Ai, Zihao Li, Jingrui He·· 12 小时前AI 评分29
为在线策略蒸馏提出更好的 Rollout 策略：MPOPD 方法
Proposing Better Rollouts for On-Policy Distillation
AI 导读
研究者提出 Mixture Proposal On-Policy Distillation（MPOPD），将 OPD 中的 rollout 策略本身作为优化目标，从基于相对教师支持的局部信赖域目标导出学生锚定、教师引导的 rollout 分布，即学生与教师策略的几何混合，并用 proposal 策略单次前向生成 rollout。
正文 · AI 翻译
摘要：同策略蒸馏（OPD）通过让学生在教师监督下从自身采样的轨迹中学习，使训练过程与推理时行为保持一致，从而改进语言模型的训练后优化。然而，OPD 中的 rollout 策略通常被视为固定的：每一轮都直接从当前学生模型采样。我们表明，这一选择会造成教师—学生不匹配的累积，因为它要求教师对学生采样到的任何轨迹都提供有效监督，包括教师自身较难到达的轨迹。在这类轨迹上，教师监督可能变得有噪声甚至产生误导，导致学生出现重复等不良模式。此外，由于更新后的学生模型又决定了后续轮次的 rollout 策略，这些模式会持续存在，并可能在训练过程中被放大。这一失效模式表明，改进 OPD 需要将 rollout 策略本身视为优化目标，而不仅仅是修改蒸馏目标。我们提出混合提议同策略蒸馏（MPOPD），它基于相对教师支持度，从局部信赖域目标中推导出以学生为锚点、由教师引导的 rollout 分布。由此得到的目标是学生策略与教师策略的几何混合，我们引入一个提议策略来近似该混合，从而能够在单次前向传播中生成 rollout。在 16 个数学、知识和医学推理基准上的实验表明，该方法相较 OPD 及近期变体取得了一致提升。在数学推理上，我们的方法在 Qwen3-4B-Base 上相较 OPD 将平均准确率提升 6.91，同时将平均生成长度减少 41%，这表明 rollout 策略设计是改进 OPD 的有效途径。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36477 [cs.LG] |
| （或 arXiv:2610.36477v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36477 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sirui Chen [查看邮箱]
[v1]
2026年10月27日 星期二 01:33:51 UTC（369 KB）
来源：arXiv cs.AI · arxiv.org