同一答案换个框：RLVR 的域外增益有多少来自答案格式？

查看 PDF HTML（实验性）

摘要：具有可验证奖励的强化学习（RLVR）被认为能带来超出其奖励检查领域的收益，例如在数学训练后获得更高的 MMLU 准确率。此类准确率通常由答案提取器从模型文本中读出。因此，一个学会在提取器查找的位置写出答案的模型，可以在没有更好作答的情况下获得更高分数。我们测量了从公开代码中复制的提取器所报告的收益中有多少是以这种方式产生的。我们从基础模型及其 RL 模型生成输出，并对其进行两次评分：一次使用这些提取器，一次使用我们自己的提取器，后者会读取明确陈述的答案，无论它是在答案框 \boxed{} 中还是在文本中。在四组已发布的 7B SimpleRL 基础-RL 配对中，这些提取器报告的域外多项选择收益中有 82% 在我们的提取器下消失：这是答案格式上的收益，而不是答案本身的收益。基础模型已经以文本形式陈述了其大部分答案，而 RL 将它们移入框中，也就是这些提取器首先查找的位置。用独立 LLM 阅读器代替我们的提取器，这一数字为 77%。使用一个本身要求给出答案框的提示，我们的提取器给出的数字为 79%。在一个使用另一种配方训练的 32B 配对中，所报告收益几乎都不是格式收益：其基础模型在被要求时会将答案放入框中，而其 RL 模型在未被要求时很少这样做。所报告的收益部分取决于读取它的提取器，而用第二个提取器重新评分已存储的输出可以显示其程度，而无需重新运行 RL。

提交历史

来自：Zongye Lyu [查看电子邮件]
[v1] 2026 年 10 月 2 日星期五 12:33:17 UTC（3,633 KB）