跳到正文
Hugging Face Daily Papers· Wenbin Hu·· 19 天前AI 评分24

CorrGRPO:面向多奖励学习的相关性归一化 GRPO

CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning

AI 导读

针对 GRPO 在多奖励场景下直接求和并按组内标准差归一化、导致优势被奖励协方差放大的问题,研究者提出 CorrGRPO,用相关性归一化处理多奖励学习。该方法指出固定中心化奖励时,聚合协方差越大优势越小,从而让更新幅度随奖励依赖关系自适应调整。

来源:Hugging Face Daily Papers · huggingface.co