arXiv cs.CL· Runyang You, Yongqi Li, Tiezheng Yu, Wenjie Li·· 11 小时前AI 评分31
On-Policy Transition Distillation：用层间预测转移增强在线策略蒸馏
On-Policy Transition Distillation
AI 导读
研究提出 On-Policy Transition Distillation（OPTD），在在线策略蒸馏（OPD）匹配师生最终层分布的基础上，额外对齐学生生成 rollout 上师生逐层 log 概率增量。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）通过在学生生成的 rollout 上匹配教师与学生的最终层分布，将专家能力整合到单个学生模型中。我们研究逐层预测转变，即层与层之间预测的变化，能否提供额外的任务相关监督。我们的诊断研究发现，中间转变中更强的师生一致性在问题内部与更高的答案正确率相关，正确回答在所有测量的中间层对上都表现出更低的平均转变 KL。这些观察促使我们提出在线策略转变蒸馏（OPTD），它通过在学生生成的 rollout 上对齐教师与学生的逐层对数概率增量，来增强最终层分布匹配。在三个骨干模型和涵盖数学、编程与指令遵循的八个基准上的评估表明，OPTD 在双域和三域蒸馏中均取得最佳或并列最佳的整体性能。在三域设置中，OPTD 恢复了约 90\% 的整体师生能力差距，而 OPD 约为 75\%。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28048 [cs.CL] |
| （或 arXiv:2610.28048v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28048 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Runyang You [查看邮箱]
[v1]
2026年10月20日 星期二 11:37:31 UTC（1,388 KB）
来源：arXiv cs.CL · arxiv.org