arXiv·· 13 天前AI 评分31
面向 RL 改进推理教师的迁移分层在线策略蒸馏
Transfer-Stratified On-Policy Distillation for RL-Improved Reasoning Teachers
AI 导读
研究对比 GRPO 前后的教师模型谱系、多种学生规模与在线策略蒸馏目标后发现，RL 改进后的推理教师带来的学生收益是结构化的、依赖具体指标，而非单纯由教师强度决定。教师强度本身不足以让稠密蒸馏具备竞争力，迁移效果需按指标分层评估。
来源：arXiv · arxiv.org