arXiv cs.CL· Tianle Wang, Jiayu Liu, Ruizhi Zhao, Ning Miao·· 10 天前AI 评分29
SAPD：步对齐特权蒸馏，无需 rollout 的离线后训练方法
SAPD: Step-Aligned Privileged Distillation
AI 导读
研究者提出 Step-Aligned Privileged Distillation（SAPD），一种无需 rollout 的自蒸馏方法，将固定示范转化为步对齐的分布监督，用参考解的已知推进过程为每个推理步骤提供针对性特权引导。
正文 · AI 翻译
摘要：同策略后训练可以通过从自身轨迹中学习来改进大语言模型，但需要昂贵的 rollout 生成。我们探究固定的示范能否通过更好的监督来支持有竞争力的离策略学习。我们的前提是，其有用性不仅取决于训练轨迹，还取决于监督是否能在多个续写之间提供有信息量的偏好，并将这一引导与正在学习的推理决策联系起来。我们提出步对齐特权蒸馏（Step-Aligned Privileged Distillation，SAPD），一种无需 rollout 的自蒸馏方法，将示范转化为步对齐的分布监督。其关键洞见是利用参考解已知的推进过程，将每个推理转换与有针对性的特权引导相关联，而不是将解视为无差别的上下文。在数学推理基准上，SAPD 平均优于监督微调和标签平滑，同时与同策略强化学习和自蒸馏相比仍具竞争力。分析支持了依赖上下文的分布引导的价值，以及将特权信息与当前步骤对齐的益处。SAPD 还基本保持了域外编码性能，并相比同策略基线实现了约 2 倍的训练循环加速。这些发现表明，精心构建的监督可以使完全离策略的后训练成为一种有竞争力且计算高效的替代方案。我们的代码可在 此 https URL 获取。
| 评论： | 预印本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.09665 [cs.CL] |
| （或 arXiv:2610.09665v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09665 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tianle Wang [查看电子邮件]
[v1]
2026年10月7日星期三 08:31:37 UTC（132 KB）
来源：arXiv cs.CL · arxiv.org