arXiv cs.CL· Fang Wu, Weihao Xuan, Danny Xing, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi·· 3 天前AI 评分41
RLVR 的隐形缰绳：可验证奖励强化学习能否突破其起源
The Invisible Leash: Why RLVR May or May Not Escape Its Origin
AI 导读
研究提出"经验支持动态"框架，逐题追踪 RLVR 对已验证解法的影响，发现在所评估的模型级基准聚合上，观察到的支持收缩超过扩张——失去已验证成功的问题多于新增的问题，尽管 pass@1 同时上升。部分 RLVR 模型平均 token 级熵升高而最终答案熵降低，token 选择更不确定但答案更集中。这揭示出当前 RLVR 实践存在"隐形缰绳"：让已有成功更可靠，却丢失了其他已验证解法。
正文 · AI 翻译
摘要：近期的进展凸显了带可验证奖励的强化学习（RLVR）作为增强 LLM 能力的一种有前景的方法。然而，目前尚不清楚当前 RLVR 的实践是否真正拓展了模型的推理边界，还是主要放大了基础模型已经知道的高奖励输出。我们引入了经验支持动态（empirical support dynamics），一个量化 RLVR 如何保留、扩展和缩小对已验证解的可及性的框架。应用于多个模型、推理任务和训练检查点，它逐题匹配已验证的成功，以揭示聚合准确率可能掩盖的变化。在评估的模型级基准聚合中，\textit{观察到的支持的收缩超过其扩展}：在所述采样预算下，失去已验证成功的题目多于获得已验证成功的题目。这些损失与 \texttt{pass@1} 的提升同时出现。一些 RLVR 模型在增加平均 token 级熵的同时降低了最终答案熵：它们的 token 选择平均而言变得更加不确定，即便其最终答案变得更加集中。总之，这些发现揭示了当前 RLVR 实践中的一条“隐形牵引绳”：它可以使已有的成功更加可靠，同时却失去对其他已验证解的可及性。经验支持动态使这种不平衡变得可测量，并推动探索策略，以触及代表性不足的解，同时保留先前的成功。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2507.14843 [cs.LG] |
| （或 arXiv:2507.14843v5 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2507.14843 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Fang Wu [查看电子邮件]
[v1]
2025年7月20日星期日 07:04:08 UTC（273 KB）
[v2]
2025年9月26日星期五 04:52:44 UTC（415 KB）
[v3]
2026年1月7日星期三 01:59:36 UTC（413 KB）
[v4]
2026年2月4日星期三 00:51:57 UTC（420 KB）
[v5]
2026年10月14日星期三 06:13:12 UTC（485 KB）
来源：arXiv cs.CL · arxiv.org