arXiv cs.CL· Jihao Huang, Guangjia Chai, Zhirui Chen, Lei Wang, Yao Liu, Liu Qi, Pengjie Ding, Xinyang Liu, Chengxun Jia, Ling Shao, Hongyu Chen, Junchen Wan·· 11 小时前AI 评分27
MGE-PO：面向数学推理的熵感知信用分配方法
MGE-PO: Entropy-Aware Credit Assignment for Mathematical Reasoning
AI 导读
MGE-PO 提出四象限（4Q）优势塑形，将验证正确性与 rollout 生成熵结合：正确性决定额外修正的符号，熵控制幅度，低熵成功获得更大奖励、高熵失败受到更大惩罚。
正文 · AI 翻译
作者：Jihao Huang、Guangjia Chai、Zhirui Chen、Lei Wang、Yao Liu、Liu Qi、Pengjie Ding、Xinyang Liu、Chengxun Jia、Ling Shao、Hongyu Chen、Junchen Wan
摘要：GRPO 对同一问题中奖励相同的回答赋予相同的组相对优势，从而未利用其生成不确定性。我们提出 MGE-PO，其核心是四象限（4Q）优势塑造，将验证正确性与 rollout 生成熵相结合。正确性决定额外修正的符号，而熵控制其幅度：低熵的成功获得更大奖励，高熵的失败受到更大惩罚。基于在线熵的问题课程利用缓存的 rollout 测量结果支持这一信用规则。在 Qwen3-8B-Base 上训练八个 epoch 后的最终检查点，在三种策略优化设置中加入 4Q，使六基准宏平均 avg@32 获得 3.23-3.69% 的绝对提升，宏平均 pass@32 获得 4.24-11.06% 的绝对提升。在 Qwen2.5-7B-Base 上，完整配置将四基准宏平均 avg@32 从 41.5% 提升至 45.4%。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7; I.2.6 |
| 引用为： | arXiv:2610.23245 [cs.CL] |
| （或 arXiv:2610.23245v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23245 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jihao Huang [查看邮箱]
[v1]
2026年10月16日星期五 10:15:02 UTC（1,506 KB）
来源：arXiv cs.CL · arxiv.org