arXiv cs.CL· Junyi Gao, Yu Shi, Pingzhao Hu, Ewen M Harrison·· 10 小时前AI 评分42
研究揭示 GRPO 在组依赖奖励下变成零和锦标赛，提出 Team-GRPO 修正
When Rewards Depend on the Group, GRPO Plays a Tournament
AI 导读
研究证明 GRPO 的组相对基线在奖励依赖同组其他回答时会改变优化目标，使每个回答被训练成在零和锦标赛中击败组内同伴，K=2 时看不到成对多样性奖励，任意 K 下所见不足一半。
正文 · AI 翻译
摘要：针对多样性、覆盖率和分布匹配的奖励使得每个采样响应的奖励取决于其所在组的其余部分，而它们现在通常通过 GRPO 和 RLOO 进行优化。我们证明，在此设置下，组相对基线会改变目标。期望更新等于每个响应自身的奖励梯度加上 $\alpha$ 乘以其对同组其他响应奖励的影响，对于大小为 $K$ 的组，$\alpha=-1/(K-1)$，因此 GRPO 训练每个响应在零和锦标赛中击败其同组其他响应。当 K=2 时，它无法看到成对的多样性奖励；在任何 K 下，它看到的不到一半，并且通常比完全不使用基线更差。设置 $\alpha=+1$ 得到 Team-GRPO，这是一种对任何依赖于组的奖励都无偏的估计器，每个提示只需两个样本即可工作，并且对于成对奖励不需要额外的模型调用。该理论在定量上预测了训练。它将 9B 策略的不动点定位在 $\ell_1$ 中的 0.02 以内，并以 Pearson r=0.995 预测训练后的策略变得有多集中。在 GlobalOpinionQA 上，GRPO 坍缩到多数答案，最终比未训练的模型更远离人类意见，而 Team-GRPO 将误差从 $0.20$ 降低到 $0.08$。在 NoveltyBench 上，Team-GRPO 避免了 GRPO 的多样性坍缩，并显著提高了集合效用。
| 主题： | 机器学习 (cs.LG)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2611.02404 [cs.LG] |
| （或 arXiv:2611.02404v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.02404 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junyi Gao [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 02:26:46 UTC（274 KB）
来源：arXiv cs.CL · arxiv.org