arXiv cs.AI· Zhenrui Yue, Gongxiaohui Chen, Huimin Zeng, Honglei Zhuang, Jiashuo Sun, Zhen Han, Dong Wang·· 10 小时前AI 评分38
无需重采样:长程 RL 专家的离策略整合方法 MRPD
Replay, Don't Resample: Off-Policy Consolidation of Long-Horizon RL Experts
AI 导读
研究者提出多专家回放策略蒸馏(MRPD),直接回放各领域 RL 专家的训练日志来整合模型,无需重新采样或调用环境与奖励模型,整合成本仅为训练这些专家的约七分之一。在推理、搜索和 SQL 三个长程智能体任务上,MRPD 的学生模型大幅优于在线 RL 基线,并以远低于 MOPD 的成本超过同一批专家经 MOPD 整合的结果。分析显示回放轨迹贡献了大部分收益,且日志顺序比数量与奖励更重要。
正文 · AI 翻译
摘要:前沿后训练遵循一套通用配方:先针对每个领域用强化学习(RL)训练一个专家模型,再通过多教师同策略蒸馏(MOPD)将各专家整合为一个模型。这种整合代价高昂:学生模型要在每个环境中重新采样,由专家为每个采样到的 token 打分,而且学生模型会继承最终专家模型的漂移。然而我们认为,专家模型的 RL 训练过程已经产出了整合所需的一切:带有采样概率和奖励的轨迹,且按专家学习它们的顺序排列。我们提出多专家回放策略蒸馏(MRPD),它按照专家的顺序,让学生模型回放这些训练日志。在每一步,策略梯度都会在这些已打分的轨迹上重新计算,并在记录的 prefix 处蒸馏最终专家的分布。遵循专家自身的轨迹可减少训练与推理的不匹配,并使学生模型保持在裁剪范围内,因此回放虽然来源上是离策略的,但在整个整合过程中近似于同策略。MRPD 不采样,也不调用任何环境或奖励模型:训练器是唯一的进程,整合这些专家的计算量仅约为训练它们所用计算量的七分之一。在三个长时程智能体领域(推理、搜索和 SQL)上,MRPD 得到了最佳的学生模型,大幅优于在线 RL 基线,并以 MOPD 成本的一小部分超越了由相同专家进行的 MOPD。我们对相同日志的分析表明,回放的轨迹带来了大部分收益,策略梯度和蒸馏项都对收益有贡献。最有趣的是,日志的顺序比其数量或奖励更重要,这表明专家训练日志是一种课程,而不是数据混合。
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24059 [cs.LG] |
| (或此版本的 arXiv:2611.24059v1 [cs.LG]) | |
| https://doi.org/10.48550/arXiv.2611.24059 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Zhenrui Yue [查看邮箱]
[v1]
2026年11月18日星期三 08:51:39 UTC(568 KB)
来源:arXiv cs.AI · arxiv.org