arXiv cs.CL· Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu, Yuewei Zhang·· 2 天前AI 评分22
Waypoint-OPD：通过门控同策略蒸馏迁移 RL 引发的策略偏移
Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
AI 导读
Waypoint-OPD 通过引入同一 RL 训练的中间教师检查点，比较早期与晚期策略偏移在动作偏好方向上的一致性，并据此对端点偏移进行门控，方向相悖时予以抑制。该方法仅需额外一次冻结教师打分，在数学与代码推理的六种领域-学生组合中，以 Qwen3-4B 为教师、Qwen3-8B/14B/30B-A3B 为学生，均取得最高领域平均分。Qwen3-8B 消融显示，移除或打乱门控会降低数学推理表现。
正文 · AI 翻译
摘要：策略偏移蒸馏复用教师模型在强化学习（RL）前后对数概率的差异，作为对学生生成轨迹的监督。然而，这种端点策略偏移无法揭示局部动作偏好在教师训练过程中是否一致地演变。相同的端点偏移可能来自相互强化或部分抵消的早期与晚期偏移。我们研究早期与晚期教师策略偏移之间的一致性是否能够指导选择性迁移。我们提出路点引导的在线策略蒸馏（Waypoint-OPD），它使用同一次 RL 运行中的中间教师检查点，在学生访问过的前缀处比较早期与晚期偏移在相对动作偏好上的差异。我们根据早期与晚期偏移之间的方向一致性对端点偏移进行门控，当二者方向相反时将其抑制。与仅使用端点迁移相比，我们的方法仅需额外进行一次冻结教师评分。使用经 RL 训练的 Qwen3-4B 教师，我们以 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 作为学生模型，在数学和代码推理任务上评估我们的方法。在所有六种领域—学生设置中，Waypoint-OPD 在所比较的蒸馏方法中取得了最高的领域平均分。使用 Qwen3-8B 学生进行的消融实验表明，移除或打乱门控会降低数学推理性能。这些结果支持在学生训练期间使用早期与晚期教师策略偏移之间的方向一致性来对端点偏移进行加权。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21601 [cs.LG] |
| （或使用 arXiv:2610.21601v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.21601 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guochao Jiang [查看邮箱]
[v1]
2026年10月15日星期四 09:47:19 UTC（945 KB）
来源：arXiv cs.CL · arxiv.org