arXiv cs.AI· Yunjie Chen, Zihao Chen, Xiaoxin Chen, Fan Wang·· 3 天前AI 评分29
REGEN：用离线强化学习回收回放记忆实现专家到通才蒸馏
REGEN: Replay-recycling for Expert-to-Generalist distillation with Offline Reinforcement Learning
AI 导读
REGEN 提出用离线强化学习回收教师模型专项 RL 训练产生的回放记忆，训练通才模型，从而完全解耦 rollout 采样与反向传播。在数学推理、代码生成和指令遵循任务上，REGEN 以显著更低的成本达到多教师在线蒸馏（MOPD）的准确率。该方法有望将在线 RL 从一次性学习阶段转变为数据合成过程，代码已开源。
正文 · AI 翻译
摘要：大规模在线强化学习（RL）是在大型语言模型（LLM）中激发长期推理和智能体工具使用等高级能力的主要手段。然而，在众多感兴趣的任务领域中持续扩展它，在计算基础设施和成本方面仍具挑战性，尤其是当仅将 RL 视为一次性的学习阶段时。近来，一种广泛用于跨领域和训练阶段蒸馏知识的技术——多教师同策略蒸馏（MOPD）——有助于解耦 RL 阶段，节省成本，同时在广泛领域保持通用性。然而，与在线 RL 类似，MOPD 需要耦合的推理与反向传播，这持续限制了其可扩展性和计算效率。为应对这些挑战，我们提出 REGEN：基于离线 RL 的专家到通才蒸馏的回放回收。REGEN 不是从多个教师模型蒸馏，而是通过简单地回收回放记忆——教师专门化 RL 训练的免费副产品——并采用离线 RL 算法来训练一个通才模型。REGEN 完全将 rollout 采样与反向训练过程解耦，从而大幅降低训练成本。在数学推理、代码生成和指令遵循方面，REGEN 以显著更低的成本达到与 MOPD 相当的准确率。它有可能将在线 RL 转变为数据合成过程，而非一次性的学习阶段，并可扩展到大规模后训练而无需沉重的计算负载。代码见 此 https URL。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.19450 [cs.LG] |
| （或 arXiv:2607.19450v4 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2607.19450 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yunjie Chen [查看邮箱]
[v1]
2026年7月21日星期二 13:36:23 UTC（1,425 KB）
[v2]
2026年7月29日星期三 12:12:34 UTC（1,425 KB）
[v3]
2026年9月12日星期六 15:22:15 UTC（430 KB）
[v4]
2026年10月12日星期一 14:09:54 UTC（430 KB）
来源：arXiv cs.AI · arxiv.org