Hugging Face Daily Papers· Wenbin Hu·· 19 天前AI 评分24
CorrGRPO:面向多奖励学习的相关性归一化 GRPO
CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning
AI 导读
针对 GRPO 在多奖励场景下直接求和并按组内标准差归一化、导致优势被奖励协方差放大的问题,研究者提出 CorrGRPO,用相关性归一化处理多奖励学习。该方法指出固定中心化奖励时,聚合协方差越大优势越小,从而让更新幅度随奖励依赖关系自适应调整。
来源:Hugging Face Daily Papers · huggingface.co