在 GRPO 中，密集奖励值得消耗这些 token 吗？

作者：Vikash Singh、Weicong Chen、Debargha Ganguly、Yanyan Zhang、Mohsen Hariri、Sreehari Sankar、Wang Yang、Chaoda Song、Alexander Nemecek、Osama Zafar、Yuting Shao、Kai Ye、Biyao Zhang、Xinpeng Li、Shouren Wang、Erman Ayday、Jing Ma、Sanmukh Rao Kuppannagari、Vipin Chaudhary

查看 PDF HTML（实验性）

摘要：RLVR 通过奖励正确的最终答案来训练语言模型进行推理。一种广泛使用的算法——组相对策略优化（GRPO）——给解答中的每个 token 相同的信用，因此有人提出稠密过程奖励来为中间步骤分配信用，例如使用蒙特卡洛奖励，通过从每一步采样后续内容来为该步骤打分。将这种奖励与 GRPO 在每次训练更新时进行比较，或在单个批次上用梯度测试来检验它，都忽略了它的代价：在我们的设置中，仅后续内容就占所有生成 token 的 91%。我们引入一种匹配计算量协议，为每种训练干预分配相同的预算，以生成的 token 数和训练 GPU 小时数衡量，并在预注册研究中测试它，同时控制副作用。在六个模型上的 1,668 次运行中，匹配计算量逆转了排名。在 Qwen2.5-1.5B 上，蒙特卡洛奖励在每次更新上领先标准 GRPO，但在相同 token 数下最终低 14.3 个百分点，在相同训练时间下低 7.8 个百分点，而且四种稠密奖励变体即使给予同样多的训练时间，也没有一种能超过 GRPO。逐 token 梯度测试对这些奖励的排序与训练一致，但将每个奖励高估了一到两个百分点，与它本应检测到的增益相当。相比之下，在预测成功率最接近 1/2 的提示上进行训练，在匹配计算量下提高了准确率：在 Qwen3-0.6B 上提高 1.7 个百分点，在 Qwen2.5-1.5B 上提高 0.8 个百分点。这些增益在新随机种子和未见问题上得到复现，而且一条简单规则——候选提示被预测为失败的次数多于成功——在六项预注册测试中的五项里预测出了它们出现的位置。两种增益都出现在训练早期，而将初始学习率加倍的標準 GRPO 与它们的差距在半个百分点以内。我们认为，训练干预应在匹配计算量下进行验证，这会推翻一些表面上的增益，并确认另一些增益。

评论：	59 页（正文 10 页），18 幅图，27 张表。代码：此 https URL
主题：	计算与语言（cs.CL）；人工智能（cs.AI）
ACM 分类：	I.2.6；I.2.7
引用为：	arXiv:2611.13560 [cs.CL]
	（或 arXiv:2611.13560v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.13560 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Weicong Chen [查看邮箱]
[v1] 2026 年 11 月 10 日星期二 04:25:22 UTC（2,230 KB）