arXiv cs.AI· Yingyu Shan, Yuhang Guo, Zihao Cheng, Zeming Liu, Xiangrong Zhu, Xinyi Wang, Jiashu Yao, Wei Lin, Hongru Wang, Heyan Huang·· 9 天前AI 评分25
SC-GRPO：用自条件信用分配改进可验证奖励强化学习
Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards
AI 导读
针对 GRPO 对所有 token 均匀分配信用、浪费梯度的问题，研究者提出 SC-GRPO（Self-Conditioned GRPO），用模型在自身已验证轨迹条件下的逐 token KL 散度作为 GRPO 梯度的乘性权重，无需过程奖励模型或外部教师。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）在训练 LLM 完成推理任务方面取得了实质性进展，但 GRPO 等代表性方法对所有 token 分配统一的信用，将梯度浪费在常规 token 上，同时对关键推理步骤的信用分配不足。现有的 token 级信用分配方法需要模型自身 rollout 之外的资源。GRPO 变体依赖过程奖励模型或真实答案。知识蒸馏通过逐 token 散度分配信用，但需要外部教师（On-Policy Distillation）或特权信息（On-Policy Self Distillation）。然而，这些依赖限制了其在纯 RLVR 场景中的适用性。我们观察到，让模型以其自身已验证的轨迹为条件，会在原始分布与条件分布之间产生可测量的逐 token KL 散度，并证明当存在多条已验证轨迹时，从由已验证轨迹构建的自教师进行蒸馏会导致不可行的加权平均解。我们提出 SC-GRPO（Self-Conditioned GRPO），它将前述 KL 散度用作 GRPO 梯度的乘性权重。在涵盖数学、代码和智能体任务的五个基准上，SC-GRPO 持续优于 GRPO 达 8.1%、优于 DAPO 达 5.9%，并具有更强的 OOD 性能。此外，SC-GRPO 的性能高于 OPD。
| 评论： | 被 EMNLP 2026 Findings 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.18810 [cs.LG] |
| （或使用 arXiv:2606.18810v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.18810 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Yingyu Shan [查看邮箱]
[v1]
2026年6月17日星期三 08:26:02 UTC（4,312 KB）
[v2]
2026年10月8日星期四 09:46:38 UTC（4,313 KB）
来源：arXiv cs.AI · arxiv.org