arXiv cs.AI· Yifei Liu, Minghao Fang, Xinyu Gu, Chengkai Yao, Mengdi Liu, Tengfei Ma, Jiangbin Zheng, Chang Yu, Zhangyang Gao·· 10 天前AI 评分22
E$^2$-OPSD：解决在线策略自蒸馏中的熵过冲问题
E$^2$-OPSD: Taming Entropy Overshoot in On-Policy Self-Distillation
AI 导读
研究识别出在线策略自蒸馏（OPSD）的失败模式"熵过冲"——训练中学生会话熵超过教师并持续偏高，根源在于参考答案条件下的教师监督过度绑定答案线索，且前向 KL 持续扩散学生预测分布。
正文 · AI 翻译
摘要：在线策略自蒸馏（OPSD）无需第二个模型即可提供密集的 token 级监督：一个网络在有参考解答时充当教师，在仅有问题时充当学生。我们发现了该方案的一种特定失效模式。训练期间，学生 token 熵升至超过教师并持续保持高位，我们将这一现象称为熵过冲。我们将其追溯到蒸馏的两个方面。以参考解答为条件的教师在面向答案的推理路径上很自信，但这种自信难以迁移到学生生成的 prefix 上，使其监督过度依赖答案特定的线索，而非可复用的推理模式；同时，OPSD 使用的前向 KL 不断扩散学生的预测分布，却不将其拉回。我们提出 E$^2$-OPSD 来解决这两个原因。示例引导教学用检索到的已解邻近问题替换当前答案，在不泄露最终目标的情况下提供可迁移的推理指导，并更好地匹配学生可到达的状态。熵感知蒸馏利用学生-教师熵差来确定每个 token 修正的方向和强度。E$^2$-OPSD 在 mean@16 上比 OPSD 提升数学推理最多 4.3 分，域外评估显示相比相应基础模型在 mean@16 上最多提升 4.9 分，在 pass@8 上最多提升 5.5 分。尽管有这些提升，E$^2$-OPSD 仍然简单，无需额外的前向传播或网络。
| 评论： | 24 页，6 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.05048 [cs.LG] |
| （或 arXiv:2610.05048v3 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2610.05048 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Yifel Liu [查看邮箱]
[v1]
2026 年 10 月 4 日星期日 08:32:33 UTC（5,937 KB）
[v2]
2026 年 10 月 6 日星期二 02:10:14 UTC（5,938 KB）
[v3]
2026 年 10 月 7 日星期三 03:03:40 UTC（5,938 KB）
来源：arXiv cs.AI · arxiv.org