知识蒸馏：用大模型软标签训练小模型

知识蒸馏的做法是让大模型（教师）生成软标签，再用这些软标签训练小模型（学生），从而把大模型的能力迁移到更小的模型上。 RadarAI 的文章给出了这一方法的数学形式，并引用 DistilBERT 与 DeepSeek-R1 的实证结果作为支持。报道未说明这些结果的具体指标、适用条件或可复现范围。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。