arXiv cs.AI· Huining Yuan, Zelai Xu, Huaijie Wang, Xiangmin Yi, Jiaxuan Gao, Xiao-Ping Zhang, Yu Wang, Chao Yu, Yi Wu·· 3 天前AI 评分29
VPR：面向智能体推理的可验证过程奖励框架
Verifiable Process Rewards for Agentic Reasoning
AI 导读
研究者提出可验证过程奖励（VPR）训练框架，将任务求解器改造为动作级过程验证器，为中间动作提供密集奖励，实现细粒度信用分配。VPR 在 Sokoban、Sudoku、Minesweeper 三种环境中实例化，训练的 Qwen3-4B 全面超越 outcome-reward GRPO 和 VinePPO；在数学数据与三个游戏环境联合训练时取得最高平均通用推理性能。
正文 · AI 翻译
摘要：基于可验证奖励的强化学习（RLVR）提升了大语言模型（LLM）的推理能力，但现有方法主要依赖稀疏的结果级反馈，在长时程智能体任务中带来了巨大的信用分配挑战。在本工作中，我们研究允许符号化或算法化任务求解预言机的结构化智能体推理问题。我们提出可验证过程奖励（VPR），一种训练框架，将此类任务预言机重新用作动作级过程验证器，为中间动作提供稠密奖励，并实现细粒度信用分配。我们在三种不同设置中实例化 VPR：用于推箱子的基于搜索的预言机、用于数独的基于约束的预言机，以及用于扫雷的基于后验的预言机。为了用这些奖励优化策略，我们引入预言机引导的状态组 rollout 和局部归一化优化。在实验中，使用 VPR 训练的 Qwen3-4B 在所有三个训练环境中均优于结果奖励 GRPO 和 VinePPO。当在数学数据和全部三个游戏环境上联合训练时，VPR 在比较的训练配置中取得了最高的平均通用推理性能和最强的智能体结果。为了进一步评估其在更通用智能体工具使用设置中的适用性，我们将 VPR 风格的动作级监督应用于 $\tau^2$-bench，使用专家 LLM 作为参考策略，并在留出任务上观察到相比结果奖励 GRPO 的性能提升。总之，这些结果将 VPR 定位为一种有前景的方法，可利用可靠的任务预言机来改进智能体推理，同时强调其依赖于任务预言机的可用性和可靠性，以及将中间验证扩展到结构化程度较低、开放式环境中的挑战。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.10325 [cs.AI] |
| （或 arXiv:2605.10325v3 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.10325 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Huining Yuan [查看邮箱]
[v1]
2026年5月11日星期一 10:30:53 UTC（2,152 KB）
[v2]
2026年5月27日星期三 13:12:06 UTC（2,152 KB）
[v3]
2026年10月12日星期一 08:50:38 UTC（2,506 KB）
来源：arXiv cs.AI · arxiv.org