跳到正文
热点事件持续更新

研究指GRPO在组依赖奖励下失准,提出Team-GRPO

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Junyi Gao等作者在arXiv发表研究,称GRPO的组相对基线在奖励依赖同组其他回答时会改变优化目标,使每个回答被训练成在零和锦标赛中击败组内同伴;当每组只有2个样本(K=2)时看不到成对多样性奖励,任意K下所见不足一半。 作者据此提出Team-GRPO,称其为对任意组依赖奖励的无偏估计方法,每个提示只需两个样本,且处理成对奖励时无需额外模型调用。上述效果为作者在论文中的主张。

AI 根据报道生成 · 47 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv cs.CL
    研究揭示 GRPO 在组依赖奖励下变成零和锦标赛,提出 Team-GRPO 修正

    研究证明 GRPO 的组相对基线在奖励依赖同组其他回答时会改变优化目标,使每个回答被训练成在零和锦标赛中击败组内同伴,K=2 时看不到成对多样性奖励,任意 K 下所见不足一半。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。