arXiv cs.CL· Khouloud Saadi, Di Wang·· 12 小时前AI 评分31
一师多视角：MCPD 如何降低在线自蒸馏的参考敏感性
One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation
AI 导读
研究指出在线自蒸馏（OPSD）依赖完整参考答案会引发“参考诱导的目标不稳定”：替换另一份同样有效的参考解，教师分布就会显著变化。
正文 · AI 翻译
摘要：在线策略自蒸馏（OPSD）通过使用模型自身的轨迹进行训练来提升推理能力，其监督信号来自一个以参考解答为条件的特权副本所提供的密集 token 级监督。现有方法通常使用以完整参考为条件的单一教师分布。我们指出了这一表述的一个局限：参考解答只是推理过程的一种实现。尽管它提供了关于答案的证据，但它同时也编码了一种顺序、措辞和解题路径。因此，以完整参考为条件可能产生正确的目标，但这些目标过度依赖于学生在推理时无法获得的信息。我们表明，在保持问题和学生状态不变的情况下，用一个有效参考替换另一个有效参考，会显著改变教师分布，我们将这一现象称为参考诱导的目标不稳定性。为解决这种不稳定性，我们提出了蒙特卡洛特权蒸馏（MCPD），它将特权上下文建模为部分参考视图上的分布，并蒸馏边缘教师分布。MCPD 在多个视图下评估教师，并对得到的下一 token 分布取平均。我们证明，这种概率空间中的平均正是通过在特权视图上最小化期望的教师到学生 KL 散度所诱导出的精确目标。在数学和科学推理基准上，我们表明 MCPD 产生了更符合参考的监督，并持续优于完整参考 OPSD。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30880 [cs.LG] |
| （或 arXiv:2610.30880v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30880 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Khouloud Saadi [查看邮箱]
[v1]
2026年10月22日星期四 07:59:48 UTC（2,143 KB）
来源：arXiv cs.CL · arxiv.org