更小的模型，更好的拒绝样本：偏好蒸馏的规模规律

研究发现偏好蒸馏中"拒绝样本"不必来自与学生同等或更大的模型：在 7B 到 72B 的学生模型上，用更小的冻结模型生成拒绝样本，推理算力更低，却比自生成拒绝样本训练出更强的学生模型。该结论在代码生成与数学推理任务上、以及在序列级知识蒸馏前后均成立。