NYU与Amazon论文提出SGUID：精选技能蒸馏胜过11倍技能库
NYU与Amazon论文：精选技能蒸馏胜过11倍技能库
NYU与Amazon新论文提出SGUID方法，只保留训练早期和后期都持续提供有效信号的技能，蒸馏少量精选技能即可匹配甚至超越大11倍的技能库。在3个Qwen模型上，按主题匹配选出的技能中不到25%能提供有效信号；仅用6个精选技能，4个模型中有3个在数学竞赛测试上匹配或超越了30至71个技能的完整库。第二轮加入3个新技能后，Qwen3-8B从64.3%提升至66.3%。
Rohan Paul· @rohanpaul_ai · X·2026-10-10 11:05· 51 分钟前AI 评分46
AI 导读
NYU与Amazon新论文提出SGUID方法，只保留训练早期和后期都持续提供有效信号的技能，蒸馏少量精选技能即可匹配甚至超越大11倍的技能库。在3个Qwen模型上，按主题匹配选出的技能中不到25%能提供有效信号；仅用6个精选技能，4个模型中有3个在数学竞赛测试上匹配或超越了30至71个技能的完整库。第二轮加入3个新技能后，Qwen3-8B从64.3%提升至66.3%。
正文
挑选技能文件的好论文。
在蒸馏技能库之前，先记录哪些技能能提供稳定的训练信号，其余的丢弃。
NYU和Amazon的新论文发现，蒸馏少数能持续产生有用训练信号的技能，可以匹配甚至超越蒸馏大至11倍的技能库。
技能是简短的书面提示，比如计数情况的规则，模型通过从读取这些提示的自身副本中学习来吸收它们。按主题匹配挑选，在3个Qwen模型中，不到25%的技能提供了任何有用信号。
SGUID只保留在训练早期有帮助、到后期仍有帮助的技能。用6个这样的技能，4个模型中有3个在数学竞赛测试上匹配或超越了包含30至71个技能的完整库。第二轮加入3个新技能后，Qwen3-8B从64.3%提升至66.3%。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news