论文拆解结果型 RL 的收益：提升多来自完成率与可靠性，很少触达新问题

查看 PDF HTML（实验性）

摘要：结果强化学习（Outcome RL）在较大 k 时提升了 pass@1 但未提升 pass@k（Yue 等，2025）。但每个 pass@1 都是在 token 预算下评分的。每种训练方法也都在某一预算下训练。在固定 token 预算下的物理和数学问题上，我们将 20 个已发布的 RL 模型（1.5B 至 32B）的 pass@1 与其起始的思考模型进行比较。我们探究每个 pass@1 的提升是行为改变还是新知识。我们将 pass@1 的每个变化分为三部分。完成度衡量在预算耗尽前作答。可靠性衡量完成后答对。覆盖度衡量 RL 解决了其基座模型在全部八次尝试中都答错的问题，减去基座模型解决而 RL 在全部八次尝试中都答错的问题。我们发现四点。(1) 当基座模型经常在作答前触及 token 预算时，大部分变化（无论增益或损失）都来自完成度（在 4k 和 8k 下为 82%）。给予更多 token 后，基座模型自身能弥补大部分完成度差距。(2) 当基座模型有足够 token 时，增益来自可靠性：RL 模型被判定为正确的频率更高，即使在两者都能完成的问题上也是如此。(3) 按我们的定义，RL 很少能解决其基座模型无法解决的问题。在我们的四个物理和数学数据集上，覆盖度最多增加 2.1 个百分点。我们检查了 144 个仅由 RL 模型解决的物理问题。其中 3.5% 在重采样或人工阅读后成立。在随机样本中，人类确认的十个新 RL 步骤中有九个也出现在基座模型的样本中。(4) 在一个 8B 模型的小规模 RL 运行中，新问题上的增益来自完成度，可靠性持平。提供每个问题的物理设定未被证明优于普通 RL。

提交历史

来自：Shan Yang [查看邮箱]
[v1] 2026 年 10 月 26 日星期一 06:14:49 UTC（85 KB）