arXiv cs.AI· Shiping Yang, Chuanqi Tang, Hossein Hajimirsadeghi, Layla El Asri, Mohammad Amin Shabani, Angel X. Chang·· 13 小时前AI 评分31
拆解不确定性形状：On-Policy Distillation 学到了什么，以及如何预测
Distilling the Shape of Uncertainty: What On-Policy Distillation Learns and How to Predict It
AI 导读
研究揭示 on-policy distillation（OPD）不仅学习“如何分支”（考虑哪些候选 token），还学习“在哪里分支”（保持推理路径开放的位置），现有 token 重叠指标只捕捉前者。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）正越来越多地被用于大语言模型的后训练。然而，更强的教师模型未必能提升学生模型。先前工作将此归因于缺乏新知识，但究竟什么是新知识仍不清楚。我们表明，OPD 不仅学习\textit{如何分支}，即考虑哪些候选 token，还学习\textit{在哪里分支}，即在哪里保持推理路径开放。现有的 token 重叠指标只能刻画前者。我们引入熵形状，即下一 token 熵的序列，来刻画后者，并提出熵形状相关性（ESC）来衡量学生与教师在熵形状上的一致性。在整个训练过程中跟踪 ESC，并在保持教师 token 偏好的同时干预其熵，我们通过实验表明，\textit{在哪里分支}独立于\textit{如何分支}，因果性地驱动了 OPD 的收益。最后，我们将 OPD 结果预测形式化为教师选择任务，并为其建立了评估协议；在该协议下，OPD 前的 ESC 能为两个学生模型选出最佳教师，且优于现有预测器。代码见 此 https URL。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39020 [cs.CL] |
| （或 arXiv:2610.39020v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39020 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shiping Yang [查看邮箱]
[v1]
2026年10月28日星期三 22:53:06 UTC（165 KB）
来源：arXiv cs.AI · arxiv.org