arXiv cs.AI· Woosung Koh, Hyunsoo Lee, Kyungjae Lee, Haeju Park, Dahyun Lee, Dasol Hwang, Moontae Lee·· 6 天前AI 评分24
SynthSelf：用合成自蒸馏实现小模型持续后训练
Continually Post-training Small Models via Synthetic Self-distillation
AI 导读
针对 SDFT 依赖强上下文学习能力、在小模型上失效的问题，研究者提出合成自蒸馏（SynthSelf），将分布内改写任务外包给同族、略大的对齐模型，并结合离策略监督与拒绝采样。在 4 个能力获取数据集和 14 个保持性基准上，SynthSelf 在 3 种小模型规模下均优于包括离策略与在策略蒸馏在内的 6 种方法。
正文 · AI 翻译
摘要：持续后训练面临获取与保持的双重挑战：模型必须学习新能力，同时保留先验知识。虽然自蒸馏微调（SDFT）通过使用上下文演示的自监督来缓解这一问题，但它依赖于强大的上下文学习和指令遵循能力。因此，SDFT 在对于低延迟、端侧使用至关重要的小型模型上会失败。为了在更小规模上实现持续学习，我们首先找出失败的根源。我们表明，较差的获取与遗忘与后训练模型的分布偏移呈线性相关，揭示了分布内学习的必要性。因此，我们引入合成自蒸馏（SynthSelf），通过将任务外包给一个最小规模更大的同族对齐器，来模仿 SDFT 的分布内重写。结合离策略监督和拒绝采样，这为小型模型提供了所需的高质量监督，同时不破坏其原始分布。涵盖 4 个获取数据集（包括一个混合数据集）和 14 个保持基准的评估表明，SynthSelf 在 3 种小型模型规模上持续优于 6 种方法（包括离策略和同策略蒸馏）。大量进一步分析证实，SynthSelf 为有效的小型模型持续学习铺平了道路。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13113 [cs.LG] |
| （或 arXiv:2610.13113v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13113 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Woosung Koh [查看邮箱]
[v1]
2026年10月9日星期五 07:06:34 UTC（500 KB）
来源：arXiv cs.AI · arxiv.org