Trajectory-Refined Distillation：一种缓解前缀失败的轨迹级蒸馏方法

查看 PDF HTML（实验性）

摘要：在线策略蒸馏（OPD）已成为大语言模型（LLM）后训练的核心工具，它沿着学生模型自身的 rollout 提供密集的逐 token 教师监督。在这项工作中，我们识别出 OPD 背后一个共同的结构性原因，我们称之为前缀失败。在前缀失败下，密集的逐 token 监督会诱发双峰教师混合和碎片化梯度，而 token 级损失截断或重加权无法解决这一问题。因此，我们提出轨迹精炼蒸馏（TRD），一种轨迹级校正方法，在教师指导下、于在线策略支持范围内修正学生的 rollout。通过在蒸馏前校正有问题的前缀，TRD 从源头缓解前缀失败。此外，TRD 通过在教师指导下让学生接触其他有效推导过程来改进探索，即使原始 rollout 已经正确。TRD 也可应用于在线策略自蒸馏（OPSD），这是一种参数共享变体，使用以特权信息为条件的学生模型作为教师。TRD 提高了平均数学准确率，同时在代码任务上保持竞争力。在 OPSD 下，它解决了 Qwen3-8B 基础模型未能解决的 9/23 道 AMOBench 问题，几乎是强密集 KL 基线的两倍。代码见 此 https URL。

提交历史

来自：Li Jiang [查看电子邮件]
[v1] 2026年6月7日星期日 03:17:25 UTC（1,260 KB）
[v2] 2026年10月12日星期一 13:48:15 UTC（1,259 KB）