研究揭示在线策略蒸馏泛化的双重性质

Zhaoyi Li 等作者发表受控研究，逐项改变泛化因素，考察在线策略蒸馏（OPD）的泛化行为。研究发现，OPD 传递的是教师的推理行为而非具体答案，训练难度几乎无关，连教师从未解出的问题也有用。 迁移效果强烈依赖师生同源关系：同源组合可跨语言、推理跨度乃至其他领域逼近教师，跨源组合则基本只拟合训练分布。作者称这种广泛影响是双刃剑——按领域路由提示词无法限制各教师的影响，多教师组合会在其能力间形成依赖混合比例的跷跷板效应。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。