arXiv cs.AI· Chaoli Mou, Xinning Chen, Zhan Zhuang, Qinghe Zheng, Deyuan Kong, Yu Zhang·· 3 天前AI 评分22
S-trace：面向 RLVR 的选择性后继资格迹方法
Selective Successor Eligibility Traces for RLVR
AI 导读
针对 GRPO 等无 critic 算法在 RLVR 中时间信用分配过于粗粒度的问题，研究者提出选择性后继资格迹（S-trace），通过后继重要性重加权恢复 PPO 裁剪下的下游信用信号，并借助基于熵的 token 选择将其传播到选定的历史 token。
正文 · AI 翻译
摘要：可验证奖励强化学习（RLVR）已成为提升大语言模型推理能力的关键方法。然而，广泛使用的无评论家算法，如组相对策略优化（GRPO），存在粗粒度的时间信用分配问题，因为它们将相同的轨迹级优势分配给所有 token，无法区分不同推理步骤的贡献。为应对这一挑战，我们提出了选择性后继资格迹（S-trace），一种无评论家的资格迹方法，能够实现更有效的信用分配。S-trace 引入后继重要性重加权，以在 PPO 式裁剪下恢复下游信用信号，并通过基于熵的 token 选择将其传播到选定的历史 token。在理论上，我们建立了其与基于原始资格迹的策略梯度估计器之间差异的上界，该上界由 KL 散度和迹衰减因子 $\lambda$ 共同控制。实验表明，在 Qwen3-1.7B 和 Qwen3-4B 上，S-trace 相比 GRPO 在平均 pass@16 上分别取得 1.80\% 和 6.17\% 的绝对增益，相比迹式 GRPO（$\lambda$）分别取得 2.32\% 和 0.87\% 的绝对增益，同时在 Qwen3-8B 上保持稳健增益，并产生更短的回复。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.05965 [cs.LG] |
| （或 arXiv:2605.05965v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.05965 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chaoli Mou [查看邮箱]
[v1]
2026年5月7日星期四 10:11:51 UTC（626 KB）
[v2]
2026年10月13日星期二 13:21:17 UTC（287 KB）
来源：arXiv cs.AI · arxiv.org