arXiv cs.AI· Yinuo Liu·· 13 小时前AI 评分52
论文称 RLVR 没有免费午餐：pass@1 的每一点提升都以 pass@k 为代价
There Is No Free Lunch in RLVR: Every pass@1 Gain Has a pass@k Price
AI 导读
arXiv 论文《There Is No Free Lunch in RLVR》提出，可验证奖励强化学习（RLVR）会让模型首次尝试解出更多问题，但在大采样预算下基础模型反超。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）使语言模型在首次尝试时解决更多问题，而在多次尝试时解决更少：它提高了 pass@1，但在大采样预算 k 下，基础模型会反超它。这是强化学习未能增加推理能力，还是更多训练会消除的暂时现象？我们用一个定理解决了这个问题。这种反转是一种代价，我们计算了它的精确速率。将 RLVR 建模为基础策略在跨提示共享策略上的指数倾斜，我们证明在排他性专业化下，每一次提高 pass@1 的更新都会严格降低某个提示的成功率；提示上的严格正代价（Stiemke 对偶）是精确条件，而仅仅在某个提示上成为最佳策略可证明是不够的。当损失触及最难的提示时，它迫使出现 pass@k 交叉，而交叉次数至多为每个提示成功率偏移的符号变化数，这是一个紧的全正界，并将已知的单交叉结果作为其保序情形恢复。交叉不是需要修补的缺陷：受约束的更新描绘出精确的 pass@1 与 pass@k 前沿，而完全消除交叉会损失全部 pass@1 增益。同样的倾斜恒等式产生了熵坍缩和具有可识别指数的熵-性能定律，将两个文献统一在一个机制下。强化学习无法拓宽推理前沿；它只能沿着前沿移动，其代价我们通过一个诊断使其可测量，该诊断从任何评估日志中读取界、保序检验和代价。没有免费的午餐，只有代价。
| 评论： | 19 页，4 幅图。代码和验证包（34/34 自动检查）：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC）；机器学习（stat.ML） |
| MSC 分类： | 68T05, 90C05, 90C46 |
| ACM 分类： | I.2.6; G.1.6 |
| 引用为： | arXiv:2610.39295 [cs.LG] |
| （或 arXiv:2610.39295v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39295 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yinuo Liu [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 03:43:26 UTC（398 KB）
来源：arXiv cs.AI · arxiv.org