研究：验证器强化学习在监督微调之外还能带来多少增益

查看 PDF HTML（实验性）

摘要：基于可验证奖励的强化学习（RLVR）通常被评估为监督微调（SFT）的替代方案，或作为其后续阶段，隐含假设是 RL 阶段本身能带来增益。我们在一个受控环境中直接测量这一贡献，其中两个阶段都能运行至完成并进行精确比较。我们构建了 gpu-train-debug，这是一个确定性的基准测试，包含 30 个原型下的 1,877 个合成 GPU 与 LLM 训练故障诊断任务，由程序化验证器评分并给予部分分数，且经过校准，使中等水平模型得分落在 0.60 至 0.75 区间。一项试点实验带来了意外发现：1,200 条黄金示范几乎解决了该基准（在困难划分上 SFT 得分为 0.785），而从基础模型出发的 15 步 GRPO 并未使其提升（0.314 对比基础模型 0.311）。因此，我们在完整运行之前以书面形式修改了研究，提出更尖锐的问题：基于验证器的 RL 在示范之外还能增加什么？在预注册规模下（60 步 GRPO，学习率 1e-6），答案是：分布内没有可检测的改进（+0.22 分，95% CI [-0.06, +0.51]），而在分布偏移下有适度但可测量的改进（在留出的 OOD 划分上 +0.33 分，CI [+0.02, +0.68]）。SFT 占据了大部分可获得的改进，而基于验证器的 RL 仅在分布偏移下产生了适度的额外增益。SFT 留下的残余错误大多是系统性的，在不同样本间完全相同，这很可能减少了 GRPO 可用的组内学习信号。完整的 60 步冷启动 GRPO 实验组在完整时间跨度上证实了试点结果。整个研究花费了 $8.69 的计算成本，并且可以从存档的生成结果、冻结的配置和带标签的代码完全复现。

评论：	8 页，2 张图。代码与工件：此 https URL
主题：	机器学习（cs.LG）；人工智能（cs.AI）
引用为：	arXiv:2611.07639 [cs.LG]
	（或 arXiv:2611.07639v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.07639 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Saloni Garg [查看邮箱]
[v1] 2026 年 11 月 5 日星期四 08:23:28 UTC（65 KB）