跳到正文
Hugging Face Daily Papers· Xu Wan·· 18 天前AI 评分26

用在线蒸馏缓解长度扩展税:Length Self-Distillation(LSD)

Mitigating the Length-Scaling Tax with Online Distillation

AI 导读

研究提出 Length Self-Distillation(LSD),将已解出的提示词路由到 on-policy 蒸馏,未解出的提示词保留原 RL 目标,以缓解 RL 后训练中的长度扩展税(LST)——即已解出问题上响应过长却无相应准确率提升。LSD 使用指数移动平均。

来源:Hugging Face Daily Papers · huggingface.co