arXiv cs.AI· Chao Wang, Hongtao Tian, Tao Yang, Yunsheng Shi, Ting Yao, Wenbo Ding·· 3 天前AI 评分23
PASS：面向 LLM 推理模型过程监督强化学习的优势信号塑造
Process Advantage Signal Shaping: Advantage Construction for Process-Supervised Reinforcement Learning in LLM Reasoners
AI 导读
PASS（Process Advantage Signal Shaping）是一种面向 GRPO 的优势构建流程，通过奖励通道归一化与融合、信号定义分块累积以及按剩余分块数归一化，把过程监督的局部反馈转化为策略优势。
正文 · AI 翻译
摘要：密集过程监督提供了局部反馈，但未明确该反馈应如何转化为策略优势。我们提出 PASS（Process Advantage Signal Shaping，过程优势信号塑造），一种用于组相对策略优化（GRPO）的优势构建流程。PASS 结合了独立奖励通道的归一化与融合、用于信用累积的信号定义分块，以及按剩余分块数进行的归一化。这一设计将局部反馈的尺度与其对策略更新作出贡献的分辨率和时间范围联系起来。我们使用面向数学推理的学习式过程奖励和面向多跳问答的教师导出 token 信号来评估 PASS。在七个数学基准上，PASS 相比仅使用结果信号的 GRPO 将平均 pass@1 提升了 $4.62$ 分，同时将平均响应长度缩短了约 $2\%$。在采用均值中心化归一化的多跳问答上，PASS 相比仅使用结果信号的训练在两个蒸馏信号上分别高出 $0.87$ 和 $0.63$ 分，但响应更长。在两种归一化方案下，PASS 在测试的过程信号配置中均取得了最高的平均准确率，并且在绝对最大值归一化下与仅使用结果信号的训练最为接近。这些发现表明，在将密集监督纳入策略优化时，应联合考虑通道处理、信用分辨率和累积方式。
| 评论： | 21 页，4 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.29296 [cs.AI] |
| （或 arXiv:2606.29296v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.29296 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Chao Wang [查看邮箱]
[v1]
2026 年 6 月 28 日周日 09:36:43 UTC（253 KB）
[v2]
2026 年 10 月 10 日周六 11:10:57 UTC（267 KB）
来源：arXiv cs.AI · arxiv.org