arXiv cs.CL· Yiqiao Qiu·· 10 小时前AI 评分31
面向 LLM 持续学习、以多教师在线策略蒸馏实现回放
Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation
AI 导读
论文提出持续多教师在线策略蒸馏（MOPD）的回放方案：每个新阶段用上一阶段的学生模型作为教师回放早期领域提示词，无需保留早期专家或阶段快照。在逻辑、数学、代码、安全与指令遵循五领域、1.5B 学生模型的 14 项基准上，该方案无需存储任何快照即可弥合顺序蒸馏与联合 MOPD 的大部分差距；每个早期领域固定回放份额时，效果与用全部已存快照做恢复训练相当。
正文 · AI 翻译
摘要：多教师在线策略蒸馏（MOPD）将多个领域专家蒸馏到一个学生模型中，并用于近期大型语言模型的后训练。它同时在所有领域上训练，因此每个专家都必须同时可用。在实践中，能力往往是一个接一个地获得的，而学习新领域时，早期领域的专家可能已经不存在了。按顺序蒸馏这些专家会遭受对早期领域的灾难性遗忘。一些近期的流程会在每个阶段后存储一个快照，并以一个由所有快照指导的多教师恢复阶段结束。存储的模型数量会随阶段数量增长。与这些流程不同，本文根据从早期阶段保留的内容来形式化持续 MOPD，并研究针对先前学生的回放。在每个阶段内部，早期领域的提示会以先前阶段的学生作为其教师进行回放，因此既不需要保留早期专家，也不需要保留阶段快照。本文探索了回放的两种设计选择。一个阶段的回放预算要么在早期领域之间共享，要么为每个早期领域固定。回放步骤要么仅蒸馏 token 分布，要么增加对隐藏状态、区域池化自注意力分数和价值关系的对齐。基于一个 1.5B 学生的公开专家，构建了逻辑、数学、代码、安全和指令遵循的五领域基准。在其 14 个基准上的实验表明，在不存储任何快照的情况下，针对先前学生的回放缩小了顺序蒸馏与联合 MOPD 之间的大部分差距。在固定每个早期领域的回放份额时，其表现与从所有存储快照进行恢复相当。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02746 [cs.LG] |
| （或 arXiv:2611.02746v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02746 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI： | https://doi.org/10.5281/zenodo.23906641
链接到相关资源的 DOI |
提交历史
来自：Yiqiao Qiu [查看电子邮件]
[v1]
2026年11月2日星期一 08:35:18 UTC（565 KB）
[v2]
2026年11月3日星期二 08:22:11 UTC（565 KB）
来源：arXiv cs.CL · arxiv.org