arXiv cs.AI· Wei Chen, Yubing Wu, Zhou Xu, Haoyue Zhang, Delu Zeng, Jiahao Wang, Junmei Yang, Pan tiewen, Jingfeng Liu, Zhiheng Zhou, Bo Li, Min Chen·· 2 天前AI 评分24
Hindsight-Privileged RLVR：无需组采样的单轨迹 Token 信用分配
Hindsight-Privileged RLVR: Single-Rollout Token Credit Without Group Sampling
AI 导读
研究者提出 HP-RLVR，一种单轨迹 RLVR 方法，利用已完成轨迹的未来信息生成 token 级更新权重，无需参考解或学习型 critic。在 Qwen3-8B 上，其数学、代码生成和 ALFWorld 训练速度分别为 GRPO 的 1.21×、1.46× 和 2.30×，每 prompt 采样量仅为后者的八分之一。
正文 · AI 翻译
作者：Wei Chen、Yubing Wu、Zhou Xu、Haoyue Zhang、Delu Zeng、Jiahao Wang、Junmei Yang、Pan tiewen、Jingfeng Liu、Zhiheng Zhou、Bo Li、Min Chen
摘要：可验证奖励强化学习（RLVR）根据经过检验的任务结果来训练语言模型，但为单个推理 token 或动作分配终端奖励仍然困难。诸如组相对策略优化（GRPO）之类的组相对方法会针对每个提示采样若干次尝试，但当所有尝试都得到相同结果时，就会失去其基于奖励的学习信号。我们提出 Hindsight-Privileged RLVR（HP-RLVR），这是一种单次 rollout 方法，可将已完成轨迹自身的未来转化为 token 级更新权重。生成策略快照会在其因果历史下，以及在包含已实现未来和验证器反馈的事后上下文中，对每个符合条件的 token 进行评分。两种视角之间的归一化 Jensen--Shannon 散度将奖励相对于历史基线进行加权，从而为成功和失败的尝试都产生有界的 token 信用，且无需参考解或学习到的 critic。在共享 $100$ 步计划的配对 Qwen3-8B 运行中，HP-RLVR 在数学、代码生成和 ALFWorld 上的训练速度分别比 GRPO 快 $1.21\times$、$1.46\times$ 和 $2.30\times$，且每个提示的 rollout 次数仅为八分之一。总体准确率相当，HP-RLVR 在三种规模上的数学任务中均领先，而 GRPO 在代码和 ALFWorld 上领先。在 ALFWorld 中，GRPO 的梯度范数记录分别有 $43.2\%$（4B）和 $49.0\%$（8B）为零，而 HP-RLVR 则没有。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20497 [cs.LG] |
| （或 arXiv:2610.20497v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20497 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wei Chen [查看电子邮件]
[v1]
2026年10月14日星期三 17:06:59 UTC（176 KB）
[v2]
2026年10月15日星期四 06:36:16 UTC（176 KB）
来源：arXiv cs.AI · arxiv.org