Hugging Face Daily Papers· Md. Ismail Hossain·· 19 天前AI 评分34
如何突破 LLM 推理中同策略自蒸馏的扩展限制
Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning
AI 导读
针对同策略自蒸馏（OPSD）的扩展限制，一项因子分析发现脚手架正确性对下游准确率的影响强于上下文正确性。未验证的脚手架会因教师模型使用了学生无法获取的信息而产生模仿差距，该差距随模型规模扩大而缩小。
来源：Hugging Face Daily Papers · huggingface.co