arXiv cs.CL· Xue Zhang, Songming Zhang, Yunlong Liang, Fandong Meng, Yufeng Chen, Jinan Xu·· 10 小时前AI 评分26
SPTA：让学生前缀适配教师，提升在线蒸馏可靠性
Meet Students Where They Are: Student-Prefix Teacher Adaptation for On-Policy Distillation
AI 导读
针对在线蒸馏中学生生成前缀含推理错误、导致教师 token 级监督失准的问题，研究提出 Student-Prefix Teacher Adaptation（SPTA）：在 OPD 开始前收集随机长度的学生 rollout 前缀，用 RLVR 持续训练教师从这些前缀续写，使其学会从学生引入的状态中恢复而非模仿学生推理。
正文 · AI 翻译
摘要：同策略蒸馏（OPD）通过在学生生成的轨迹上进行优化，缓解了学生的暴露偏差。然而，学生生成的前缀可能包含推理错误，或遵循教师不熟悉的模式，从而削弱其 token 级监督的可靠性。随着前缀变长，这种退化会变得更加明显。为解决这种教师侧的分布不匹配问题，我们提出了学生前缀教师适配（SPTA），它使教师适配于蒸馏过程中被查询时所处的状态。具体而言，在 OPD 开始之前，我们收集随机长度的学生 rollout 前缀，并使用带可验证奖励的强化学习（RLVR）持续训练教师从这些前缀继续生成。通过将每个前缀视为上下文并奖励正确的最终答案，教师学会从学生引发的状态中恢复，而不是模仿学生的推理。随后，适配后的教师被用于标准 OPD，蒸馏目标不做任何改动。在数学推理基准上的实验表明，与标准 OPD 以及使用任务级 RLVR 适配教师的 OPD 相比，我们的 SPTA 提升了学生的平均表现。这些结果凸显了适配教师的重要性：不仅要能独立解题，还要能在学生实际访问的状态上提供可靠指导。
| 评论： | 15 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.03133 [cs.CL] |
| （或 arXiv:2611.03133v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.03133 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xue Zhang [查看邮箱]
[v1]
2026 年 11 月 2 日星期一 13:45:23 UTC（311 KB）
来源：arXiv cs.CL · arxiv.org