卡内基梅隆新论文：预训练、微调与RL可合并为单一训练规则

Rohan Paul· @rohanpaul_ai · X·2026-10-31 05:52· 35 分钟前AI 评分47

AI 导读

卡内基梅隆大学新论文提出，预训练、微调与RL可共享同一训练规则，将三者数据按任意比例混合往往优于分阶段训练。作者把一种名为MaxRL的RL方法重构为对模型自身正确答案的似然训练，从而让单一训练器混合预训练文本、精选数据和RL样本。

正文 · 原文

AI 训练的各个独立阶段可以合并为单一方法。

卡内基梅隆大学的新论文表明，预训练、微调和 RL 可以共享同一套训练规则，混合它们的数据往往优于分阶段训练。

LLM 通常分阶段训练：预训练、中期训练、微调，然后是 RL，每个阶段都有自己的算法。阶段之间的硬切换还可能抹掉先前学到的技能。

作者将一种名为 MaxRL 的 RL 形式重构为对模型自身正确答案的似然训练。这样一来，一个训练器就能随时间以任意比例混合预训练文本、精选数据和 RL 样本。

在 124M 模型的推理谜题上，最佳混合运行优于最佳分阶段运行，并且更好地保留了通用技能。在后来的编码 RL 之后，一个在数学 RL 期间混入 5% 中期训练数据的 0.76B 模型在 MBPP+ 上达到 32.69%，而分阶段训练为 29.81%。

把你的训练流水线视为一个数据混合调度，尝试在 RL 中更早地混入数据，而不是突然切换阶段。

来源：Rohan Paul · x.com