arXiv cs.AI· Savyasachi Gupta, Aniruddha Srinivas Joshi·· 3 天前AI 评分32
RLVR 验证器噪声与鲁棒性综述：58 项研究揭示错误结构比错误率更关键
Checking the Checkers: A Synthesis of Verifier Noise and Robustness in RLVR
AI 导读
一篇综述梳理了 58 项测量、分析或缓解 RLVR 验证器错误的研究，发现错误的结构比错误率更重要：随机错误主要拖慢学习，而在固定预算或 KL 正则下也会降低最终准确率；策略能学会触发的假阳性则可能导致训练停滞甚至崩溃，即便初始错误率很低。验证器是错误拒绝还是错误接受，取决于它检查什么、由谁构建，而非其所属家族，且其错误会随策略改进而漂移，多数缓解方法仅针对单一错误类型测试过。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）已成为提升大语言模型（LLM）推理能力的主要方法。它建立在这样一个假设之上：对每个回答进行评分的检查器本身是正确的。在实践中，基于规则的检查器会拒绝格式意外的正确答案，单元测试会接受错误的程序，而 LLM 评判者可能被诱导批准空回答或对抗性回答。本工作综述了 58 项测量、分析或缓解此类验证器错误的研究。我们追问：验证器会犯哪些错误，这些错误如何影响训练，哪些缓解措施对哪些错误有效，以及这些发现如何推广到自生成奖励、基于评分标准和评判者的奖励，以及无验证器的奖励。证据表明，错误的结构比其发生率更重要。随机错误大多只会减慢学习，但在固定预算或 KL 正则化下，它们也会降低最终准确率。策略能够学会触发的假阳性可能导致停滞或崩溃，有时即使初始错误率很低也是如此。验证器是错误拒绝还是错误接受，取决于它检查什么以及由谁构建，而不是取决于它的类别。其错误会随着策略的改进而变化，而大多数缓解措施只针对一种错误进行过测试。我们将这些发现整理成对比表格，调和文献中表面上的冲突，并提出一套报告协议，以使未来的结果具有可比性。
| 评论： | 已被国际以人工智能为中心的系统、服务与应用会议（AISSA 2026）接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.17824 [cs.LG] |
| （或 arXiv:2610.17824v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17824 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Aniruddha Srinivas Joshi [查看电子邮件]
[v1]
2026年10月13日星期二 06:44:33 UTC（98 KB）
来源：arXiv cs.AI · arxiv.org