arXiv cs.CL· Yixuan Tang, Yi Yang·· 10 天前AI 评分37
研究：On-Policy Distillation 教模型新技能而非新知识
On-Policy Distillation Teaches New Skills but Not New Knowledge
AI 导读
一项受控合成框架研究显示，reverse-KL 的 on-policy distillation（OPD）能跨未见推理结构稳定迁移组合技能，但几乎不迁移事实知识。在来自三个家族的四个模型上，将 reverse KL 换成 forward KL 可恢复事实迁移，而学生 rollout 则专门提升多步推理执行。近期事实问答与竞赛数学实验呈现类似不对称：推理显著提升，参数化知识未扩展。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）可增强语言模型的推理能力，但学生模型是获得了新的事实知识，还是获得了用于多步推理的组合技能，仍属未知。我们使用一个受控的合成框架将这两种能力区分开来，该框架可测量学生模型的初始能力，并独立控制教师模型额外提供的事实、组合技能或两者兼有。在来自三个模型家族的四个模型上，反向 KL 的 OPD 能够可靠地将组合技能迁移到未见过的推理结构上，但迁移的事实知识极少。对蒸馏配方进行解耦揭示了这种不对称性的来源：将反向 KL 替换为正向 KL 可恢复事实迁移，而学生模型的 rollout 则专门提升多步推理的执行能力。在近期的事实问答和竞赛数学上的实验显示，反向 KL 的 OPD 下存在类似的不对称性，在推理能力上取得显著提升，而事实记忆并未扩展。总之，这些结果表明，在线策略蒸馏并不会扩展模型的参数化知识，而是教会模型组织和组合其已经拥有的知识。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.09639 [cs.CL] |
| （或 arXiv:2610.09639v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09639 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yixuan Tang [查看邮箱]
[v1]
2026 年 10 月 7 日星期三 08:15:10 UTC（313 KB）
来源：arXiv cs.CL · arxiv.org