arXiv cs.CL· Zhaoyi Li, Deyang Kong, Yuan Wei, Evan Yang, Ranran Shen, Mahardika Krisna Ihsani, Ming Yang, Wei Zhang, Chuan Hao, Jian Yang, Ran Tao, Bryan Dai, Shikun Zhang, Wei Ye, Ying Wei, Defu Lian·· 11 小时前AI 评分34
每枚硬币都有两面：大语言模型在线策略蒸馏中泛化性的双重本质
Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models
AI 导读
一项受控研究发现，在线策略蒸馏（OPD）传递的是教师的推理行为而非具体答案，训练难度几乎无关，连教师从未解出的问题也有用。迁移效果强烈依赖师生同源关系：同源组合可跨语言、推理跨度乃至其他领域逼近教师，跨源组合则基本只拟合训练分布。这种广泛影响是双刃剑——按领域路由提示词无法限制各教师的影响，多教师组合会在其能力间形成依赖混合比例的跷跷板效应。
正文 · AI 翻译
作者：Zhaoyi Li、Deyang Kong、Yuan Wei、Evan Yang、Ranran Shen、Mahardika Krisna Ihsani、Ming Yang、Wei Zhang、Chuan Hao、Jian Yang、Ran Tao、Bryan Dai、Shikun Zhang、Wei Ye、Ying Wei、Defu Lian
摘要：在线策略蒸馏（OPD）通过监督从学生自身策略中采样的轨迹来迁移教师能力，但其泛化行为仍鲜为人知，因为大多数研究仅在单一领域以及与训练数据接近的基准上评估 OPD。我们开展了一项受控研究，每次只改变一个泛化因素，从域内分布偏移到跨域迁移以及多教师设置。我们发现，OPD 迁移的是教师的推理行为，而非其对特定问题的答案：训练难度几乎无关紧要，甚至教师从未解决的问题也有用。迁移效果强烈依赖于教师与学生之间的同源关系：同源配对能使学生在语言、推理范围甚至其他领域上接近教师，而异源配对大多只拟合训练分布。这种广泛的覆盖是一把双刃剑：由于将提示路由到领域专家无法限制每位教师的影响，将它们组合起来会在其能力之间产生依赖混合的跷跷板效应。这些结果阐明了 OPD 何时能够泛化，并为诊断多教师 OPD 提供了有用的视角。
| 评论： | 审稿中 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.16647 [cs.CL] |
| （或 arXiv:2608.16647v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.16647 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhaoyi Li [查看邮箱]
[v1]
2026年8月17日星期一 14:46:53 UTC（1,159 KB）
[v2]
2026年8月23日星期日 15:08:29 UTC（1,183 KB）
[v3]
2026年10月23日星期五 14:14:20 UTC（1,225 KB）
来源：arXiv cs.CL · arxiv.org