arXiv cs.AI· Sitong Wu, Haoru Tan, Bin Xia, Xichen Zhang, Jingyao Li, Shaofeng Zhang, Xiaojuan Qi, Bei Yu, Jiaya Jia·· 3 天前AI 评分24
无需训练即可从奖励模型提取 token 级奖励：P2T 方法提升 LLM 推理能力
Unlocking Token Rewards via Training-Free Reward Attribution
AI 导读
研究者提出 P2T，一种无需训练的方法，通过一阶泰勒近似估计每个 token 对过程奖励的影响，仅需一次前向和反向传播即可提取 token 级奖励信号。在 MathVista 上，P2T 使 Qwen2.5-VL-7B-Instruct 比结果奖励高出 +4.9%；在 AIME24 上，Qwen2.5-Math-7B 高出 +11.5%。代码将开源发布。
正文 · AI 翻译
摘要：在本文中，我们提出了一种极其高效、无需训练的方法，可直接从现有的深度奖励模型中提取 token 级奖励信号。我们的核心思想是通过估计每个 token 的影响，将整体过程奖励归因到各个 token。该影响定义为当某个 token 被替换为语义空 token 时，最终宏观奖励（例如过程奖励）的变化。直接计算这种影响在计算上是不可行的，因为对于长度为 N 的 token 序列，需要对 PRM 进行 N 次前向传播。我们通过提出一种高效的基于梯度的估计器来克服这一瓶颈。具体而言，我们使用一阶泰勒近似，将影响计算简化为 token 嵌入与空 token 嵌入之差，与奖励对 token 嵌入的梯度的内积。这仅需一次前向和反向传播。由此得到的 token 级奖励使标准 RL 算法能够进行精确的信用分配，而无需额外的奖励模型训练。在具有挑战性的推理基准上的实验表明，我们的方法显著提高了策略优化效率，并增强了 LLM 推理能力的泛化性。我们的 P2T 在 Qwen2.5-VL-7B-Instruct 上于 MathVista 上比结果奖励高出 +4.9%，在 Qwen2.5-Math-7B 上于 AIME24 上高出 +11.5%。代码将通过 此 https URL 发布。
| 评论： | token 级奖励、信用分配、PRM、RL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.18704 [cs.AI] |
| （或 arXiv:2610.18704v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18704 arXiv 颁发的 DOI 通过 DataCite（待注册） |
|
| 期刊 参考： | CVPR 2026 |
提交历史
来自：Sitong Wu [查看电子邮件]
[v1]
2026年10月13日星期二 16:53:27 UTC（855 KB）
来源：arXiv cs.AI · arxiv.org