研究指GRPO在组依赖奖励下失准,提出Team-GRPO
热点事件持续更新
研究指GRPO在组依赖奖励下失准,提出Team-GRPO
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Junyi Gao等作者在arXiv发表研究,称GRPO的组相对基线在奖励依赖同组其他回答时会改变优化目标,使每个回答被训练成在零和锦标赛中击败组内同伴;当每组只有2个样本(K=2)时看不到成对多样性奖励,任意K下所见不足一半。 作者据此提出Team-GRPO,称其为对任意组依赖奖励的无偏估计方法,每个提示只需两个样本,且处理成对奖励时无需额外模型调用。上述效果为作者在论文中的主张。
AI 根据报道生成 · 47 分钟前更新
最新进展11月4日 13:00
研究揭示 GRPO 在组依赖奖励下变成零和锦标赛,提出 Team-GRPO 修正报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- arXiv cs.CL研究揭示 GRPO 在组依赖奖励下变成零和锦标赛,提出 Team-GRPO 修正
研究证明 GRPO 的组相对基线在奖励依赖同组其他回答时会改变优化目标,使每个回答被训练成在零和锦标赛中击败组内同伴,K=2 时看不到成对多样性奖励,任意 K 下所见不足一半。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。