arXiv cs.CL· Dylan P. Wilson, Chengsong Huang, Jiaxin Huang·· 2 天前AI 评分29
错误投票，正确梯度：多数投票奖励为何能追踪可验证 RL
Wrong Votes, Right Gradients: Why Majority-Vote Rewards Track Verifiable RL
AI 导读
研究指出，自生成标签的多数投票奖励之所以能追踪可验证奖励，关键在于批次级更新而非提示词级正确性：参数共享使单个提示词的梯度在实际批次规模下对该提示词输出的贡献不足 1%，错误标签只有在跨提示词方向一致时才有影响。
正文 · AI 翻译
摘要：使用自生成标签的强化学习（例如对模型自身样本进行多数投票）往往能获得与可验证奖励训练相当的大部分收益。从通常的提示级视角来看，这令人费解，因为多数投票只能返回模型的众数答案，无法增加关于正确性的信息。我们认为，相关的单位是批次级更新。由于参数是共享的，在实际批次大小下，单个提示自身的梯度对该提示输出变化的贡献不到 1\%，因此错误标签只有在标签错误在多个提示间具有相同方向时才会产生影响。我们将多数投票更新相对于黄金更新分解为收缩和误导两部分，并证明只要错误在提示间是不一致的，无论标签错得多频繁，误导都会随批次大小增大而消失。在五个模型上测量每个响应的梯度，我们发现多数投票的错误与随机奖励零假设一样不一致，多数投票更新与黄金更新的一致程度与两个独立黄金更新彼此之间的一致程度相当，并且其与黄金更新的噪声校正余弦相似度在误差范围内为 1。随机翻转最多 30\% 的黄金标签不会改变更新方向，而由共享规则翻转相同比例则会破坏它，并且在每个提示上都偏好某类响应的奖励（例如学习到的奖励模型）会明显不足。这种等价性在我们检查的每个检查点都成立，但它是局部的：黄金奖励训练在留出的多数准确率上仍然最终领先。决定自生成标签何时能替代验证的是错误一致性，而非错误率。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20898 [cs.LG] |
| （或 arXiv:2610.20898v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20898 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Chengsong Huang [查看电子邮件]
[v1]
2026年10月14日星期三 20:25:42 UTC（799 KB）
来源：arXiv cs.CL · arxiv.org