arXiv cs.AI· Shufan Shen, Zhongni Hou, Chao Bi, Yufei Zhang, Guojun Yin, Shuhui Wang·· 13 小时前AI 评分31
Teacher-Evolution Self-Distillation（TESD）：让自教师随训练进化的在线自蒸馏方法
On-Policy Self-Distillation with Teacher Evolution
AI 导读
针对 On-Policy Self-Distillation（OPSD）训练中性能难以持续提升的问题，研究者提出 Teacher-Evolution Self-Distillation（TESD），让自教师基于任务正确性与上下文独立性获得环境反馈并持续优化，同时按教师指导可靠性对不可靠样本降权。多数据集、多模型规模实验显示 TESD 稳定优于代表性 token 级与序列级方法。
正文 · AI 翻译
摘要：On-Policy Self-Distillation（OPSD）通过特权上下文提示自教师模型，使学生的 token 级分布与其对齐，已成为缓解序列级后训练范式中奖励稀疏问题的一个有前景的方向。然而，OPSD 在训练过程中往往无法实现持续的性能提升。本文发现，模型有限的自教学能力是这一现象的根源，其会在某些样本上产生不可靠的指导。为解决该问题，我们提出 Teacher-Evolution Self-Distillation（TESD），使自教师能够生成 rollout，并基于任务正确性和上下文独立性接收环境反馈。首先，以这些奖励作为训练目标，我们执行面向教师的优化，以在蒸馏过程中持续增强模型的自教学能力。其次，通过从这些奖励中估计教师指导的可靠性，我们应用自适应的面向学生的优化，以降低指导不可靠样本的权重。在多个数据集和模型规模上的大量实验表明，TESD 始终优于代表性的 token 级和序列级方法，凸显了提升 OPSD 中监督质量的必要性。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38637 [cs.LG] |
| （或 arXiv:2610.38637v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38637 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shufan Shen [查看邮箱]
[v1]
2026年10月28日星期三 10:51:52 UTC（2,983 KB）
来源：arXiv cs.AI · arxiv.org