arXiv cs.CL· Haosen Wang·· 3 天前AI 评分22
谁在决定 Judge Hacking 的速度？评委能力与策略-评委差距之争
Who Sets the Pace of Judge Hacking? Judge Capability versus the Policy-Judge Gap
AI 导读
研究在 GRPO 下用 GSM8K 训练 0.5B 和 1.5B Qwen2.5 策略对抗四个不小于自身的 LLM 评委，发现 judge hacking 的深度与评委 AUC 相关（12 个单元上 Spearman -0.69），同族中更大的评委被欺骗得更浅。
正文 · AI 翻译
摘要：在 GRPO 针对一个冻结的、无参考的 LLM 评判器的情况下，强化学习会利用评判器的假阳性。是策略与评判器之间的能力差距，还是评判器本身，决定了其速度和程度？我们在 GSM8K 上训练 0.5B 和 1.5B 的 Qwen2.5 策略，针对至少同样大的四个评判器，并且 1.5B 策略还针对一个更小的评判器。在一项事后分析中，评判器接受率上升了，但 12 个单元中没有一个在种子平均的留出贪心准确率上提升超过 0.04。使用相同配方的金标准奖励对照将 1.5B 策略的准确率提高了 +0.054（对于 0.5B 策略，金标准奖励也没有带来可检测的增益）。评判器被攻陷的深度与评判器相关：平台期与评判器 AUC 相关（12 个单元上 Spearman 为 -0.69），并且在同一家族内，更大的评判器被欺骗的程度更浅。至于速度，两个预先指定的配对与差距解释相矛盾：差距更大的单元在预先指定的阈值下被欺骗的速度快 3.5 倍。然而，在 12 个单元的情况下，我们无法就任一终点在形式上区分评判器 AUC 与差距。对三个留出评判器进行第 0 步预测因子的盲测结果不确定。在 7-8B 规模下，来自三个家族的评判器在 0.37 到 0.85 之间进入平台期。
| 评论： | 20 页，7 幅图。v2：更短的摘要，修订了 AI 使用披露，布局修复。代码、每步日志和读取的答案样本：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.15778 [cs.LG] |
| （或 arXiv:2610.15778v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15778 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Haosen Wang [查看电子邮件]
[v1]
2026 年 10 月 11 日星期日 17:05:39 UTC（252 KB）
[v2]
2026 年 10 月 14 日星期三 09:42:42 UTC（251 KB）
来源：arXiv cs.CL · arxiv.org