arXiv cs.AI· Rituraj Sharma, Weiyuan Chen, Noah Provenzano, Tu Vu·· 13 小时前AI 评分40
PRISM：用过程奖励模型引导推理，突破深度思考的边界
PRISM: Pushing the Frontier of Deep Think via Process Reward Model-Guided Inference
AI 导读
PRISM 是一种由过程奖励模型（PRM）引导的推理算法，通过步骤级验证指导重采样、候选接受与解答聚合。搭配 PRM-score-vote 聚合方法，PRISM 在 gpt-oss-20b 上于 AIME25、HMMT25 和 GPQA Diamond 分别达到 90.0%、75.4% 和 71.4%，超过 gpt-oss-120b。
正文 · AI 翻译
摘要：DEEPTHINK 方法通过生成、精炼并聚合候选解群体来提升推理能力，从而在复杂的数学与科学任务上取得强劲表现。然而，现有框架在推理过程中仍可能受到不可靠正确性信号的影响，这造成了群体增强瓶颈：更深入的推敲会放大错误、压制正确的少数解，并使额外计算带来的回报偏低。本文提出 DEEPTHINK 系统的功能分解，并提出 PRISM——一种由过程奖励模型（PRM）引导的推理算法，利用步骤级验证来指导重采样、提议接受与解聚合。在精炼过程中，PRISM 使用 PRM 分数指导群体重采样与随机局部精炼，从而将计算集中于更高质量的推理，同时保持多样性。与 PRM 分数投票这一 PRM 引导的聚合方法结合时，PRISM 与现有 DEEPTHINK 方法相比具有竞争力或更优，使用 gpt-oss-20b 在 AIME25、HMMT25 和 GPQA Diamond 上分别达到 90.0%、75.4% 和 71.4%，并超过 gpt-oss-120b。此外，我们的分析表明，PRISM 在精炼过程中产生一致的净方向性纠正，并且在初始群体中正确候选解很少时仍保持有竞争力的准确率。
| 评论： | 28 页，22 幅图，4 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2603.02479 [cs.AI] |
| （或本版本的 arXiv:2603.02479v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2603.02479 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Rituraj Sharma [查看邮箱]
[v1]
2026 年 3 月 3 日星期二 00:03:42 UTC（1,212 KB）
[v2]
2026 年 10 月 29 日星期四 15:18:43 UTC（1,202 KB）
来源：arXiv cs.AI · arxiv.org