知识蒸馏：从大模型到小模型的迁移学习

知识蒸馏通过大模型教师产生的软标签训练小模型学生，文章给出了其数学形式，并引用了 DistilBERT 与 DeepSeek-R1 的实证结果。