arXiv cs.AI· Michael Li, Rohan Pandey, Ray Chen·· 10 小时前AI 评分31
研究揭示 RLVR 中跨提示共享如何同时抑制与放大奖励黑客
Wrong the Same Way: Cross-Prompt Sharing Both Suppresses and Amplifies Reward Hacking in RLVR
AI 导读
一项受控研究发现，RLVR 在 KL 正则化最优处只对接受的回答集合重新加权而不改变其构成，因此奖励黑客率被基座模型精确继承。在参数共享下，被多数提示接受的错误答案会被放大、仅少数提示接受的则被压到基座率以下，Adam、SGD 和采样式 GRPO 在各收敛学习率下均呈现这一方向。
正文 · AI 翻译
摘要：关于带可验证奖励的强化学习（RLVR）如何与不完美的验证器相互作用，存在两种并存的解释：一种认为奖励黑客行为继承自基础模型；另一种认为 RL 会放大它。我们在一个足够小、可以精确计算整个响应分布的可控环境中对两者进行了研究。我们改变泄漏的普遍性（即接受同一错误响应的提示所占比例）以及验证器的静态假阳性率。在其 KL 正则化最优解处，RLVR 充当一个过滤器，对接受集重新加权而不改变其组成，因此黑客率被精确继承。以此作为零模型，一个已知的分解将偏离它的漂移写为各提示上奖励与经验切核之间协方差之和。在没有参数共享的情况下，来自其他提示的项会消失。在有共享的情况下，每个接受错误答案的提示都会通过基线将其推高，每个拒绝它的提示都会将其推低，推高的幅度与模型在该处产生该答案的概率成正比。因此，共享参数策略会将少数提示接受的泄漏压低到基础率以下，并放大大多数提示接受的泄漏。在 Adam、SGD 和采样 GRPO 下的每一个收敛学习率上，高普遍性下的黑客行为最终都高于低普遍性下的情况，但两端是否越过基础率取决于步长。独立的逐提示副本消除了这种依赖。这种推动的方向既不单独取决于验证器的错误率，也不单独取决于普遍性，而取决于模型对错误答案的核加权概率中有多少落在接受它的提示上，这由冻结的基础模型控制所支撑。验证器修复应针对模型跨提示重复犯的错误：两个消除同样多错误的补丁在真实准确率上最多相差 38 个百分点。我们提出这种对齐方式作为解释早期研究为何存在分歧的一个假设。
| 评论： | 被 NeurIPS 2026 的从预训练到后训练过渡研讨会接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13218 [cs.LG] |
| （或 arXiv:2611.13218v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13218 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Michael Li [查看邮箱]
[v1]
2026 年 11 月 9 日星期一 20:39:36 UTC（2,200 KB）
来源：arXiv cs.AI · arxiv.org