arXiv cs.AI· Mohammad Rezaei, Jens Lehmann, Sahar Vahdati·· 3 天前AI 评分22
PROGRS：用结果条件化中心化让过程奖励安全服务于 LLM 数学推理强化学习
Process Rewards for Outcome-Guided Reasoning Steps in LLM Reinforcement Learning
AI 导读
PROGRS 框架将过程奖励模型（PRM）的分数作为结果分组内的相对偏好而非绝对目标，通过结果条件化中心化把错误轨迹的 PRM 分数在每个 prompt 组内平移为零均值，并结合冻结的分位数回归 PRM 与多尺度连贯性评估器，直接集成进 GRPO。
正文 · AI 翻译
摘要：大型语言模型的数学推理能力在使用可验证奖励的强化学习后得到了显著提升，其中最终答案可以被自动检查并转化为可靠的训练信号。大多数此类流程仅优化结果正确性，这导致对长多步解答的反馈稀疏，并且对中间推理错误提供的指导有限。因此，近期工作引入了过程奖励模型（PRM）来对中间步骤打分并提供更密集的监督。在实践中，PRM 分数往往与最终正确性不完全一致，并且可能奖励那些局部流畅但最终仍得出错误答案的推理。当作为绝对奖励进行优化时，此类信号可能放大流畅的失败模式并诱发奖励黑客行为。
我们提出 PROGRS，一个在利用 PRM 的同时保持结果正确性占主导地位的框架。PROGRS 将过程奖励视为结果组内的相对偏好，而非绝对目标。我们引入结果条件化中心化，将错误轨迹的 PRM 分数在每个提示组内平移至均值为零。它消除了系统性偏差，同时保留了有信息量的排序。PROGRS 将冻结的分位数回归 PRM 与多尺度连贯性评估器相结合。我们将由此得到的中心化过程奖励项集成到组相对策略优化（GRPO）中，无需辅助目标或额外的可训练组件。在 MATH-500、AMC、AIME、MinervaMath 和 OlympiadBench 上，PROGRS 在 Pass@1 上持续优于仅使用结果的基线，并以更少的 rollout 取得更强的性能。这些结果表明，结果条件化中心化能够安全有效地利用过程奖励进行数学推理。
| 评论： | 8 页，4 幅图，4 张表，已被 IJCNN 2026 会议接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.02341 [cs.LG] |
| （或使用 arXiv:2604.02341v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2604.02341 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mohammad Rezaei Ravari [查看电子邮件]
[v1]
2026 年 2 月 8 日星期日 06:38:20 UTC（2,802 KB）
[v2]
2026 年 10 月 13 日星期二 08:25:36 UTC（196 KB）
来源：arXiv cs.AI · arxiv.org