卡内基梅隆论文：预训练、微调与RL可合并为单一训练规则

卡内基梅隆大学发表论文，提出预训练、微调与强化学习（RL）可以共享同一套训练规则，将三者的数据按任意比例混合，效果往往优于分阶段训练。 作者将名为MaxRL的RL方法重构为对模型自身正确答案的似然训练，使单一训练器能够混合预训练文本、精选数据与RL样本。在124M模型的推理谜题任务上，最佳混合运行优于最佳分阶段运行；在0.76B模型的数学RL训练中混入5% midtraining数据后，MBPP+达到32.69%，而分阶段训练为29.81%。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。