arXiv cs.AI· Chi Liu, Xin Chen, Yuchuan Weng, Srinivasan Manoharan·· 10 小时前AI 评分34
MCPO：按 token 犹豫程度分配奖励的强化学习方法，在数学基准上超越 GRPO
Margin-Guided Token Credit for Reinforcement Learning with Verifiable Rewards
AI 导读
研究者提出 MCPO（Margin-Credit Policy Optimization），用策略下一 token 分布的 top-2 margin 衡量模型犹豫程度，将 GRPO 平均分配的奖励改为按 token 差异化分配，且无需额外模型评估或批次统计。
正文 · AI 翻译
摘要：在带可验证奖励的强化学习中，语言模型因最终答案正确而获得奖励，而 GRPO 将该奖励等量分配给解答的每一个 token。我们转而将信用分配给模型产生犹豫的位置，并将该方法称为 MCPO（Margin-Credit Policy Optimization）。我们通过策略下一 token 分布的前二 margin $M=p_1-p_2$ 来衡量犹豫，用两个固定阈值将其映射为分数，并将每个解答的优势分散到其各个 token 上，同时保持均值不变。该 margin 从训练器已执行的前向传播中读取，因此该方法无需额外的模型评估，也无需批次统计量。我们在 2,048 道 DAPO-Math 问题上用 LoRA 训练 MiniCPM5-2B-Base 200 步，并在六个竞赛数学基准上评估。MCPO 在全部五个数据种子上均优于未修改的 GRPO 基线，宏平均 avg@32 平均提升 6.55 分（95\% CI $[4.1, 9.0]$），Qwen3-4B-Base 复现实验在全部三个种子上均有提升（$+4.75$）。提升在 GRPO 仅能部分解决的问题上最大，并随 pass@$k$ 中的 $k$ 增大而增长，在 pass@32 时达到 13.8 分。MCPO 模型还写出长两到三倍的答案，且写得更长的运行得分更高；我们的实验未能区分这两种效应。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.14015 [cs.LG] |
| （或 arXiv:2611.14015v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14015 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chi Liu [查看邮箱]
[v1]
2026年11月10日星期二 12:51:43 UTC（186 KB）
来源：arXiv cs.AI · arxiv.org