arXiv cs.AI· Jacob Cole·· 11 小时前AI 评分34
二值化压平评分空间：LLM 评审应保留至少三档评分
Binarization Flattens the Score Space
AI 导读
研究发现，将 LLM 评审的评分压缩为 pass/fail（{0,1}）会掩盖评分尺度上的仿射拉伸变化，使策略可在不改变任何判定结果的情况下任意调整。在 MATH 和 SciBench 上，单个七准则评审的 14 组准则级拉伸在二值化后全部不可见，改为三档评分后即可检出；n=1,024 时检验功效至少 96.5%。
正文 · AI 翻译
摘要：大型语言模型（LLM）评判器常被用作奖励，以训练策略去优化确定性验证器无法捕捉的目标。然而，这些奖励往往被压缩为通过/不通过（{0, 1}），只报告了判定结果，却没有说明响应在多大程度上满足每项标准。我们将每个通过/不通过判定建模为未报告尺度上的一个分数，并与一个截断值进行比较。该尺度上的一段拉伸会使每个分数按比例向截断值靠近或远离，但绝不会越过它，因此没有任何判定会改变。因此，策略可以自由施加任意拉伸，而不改变评审小组报告的任何内容。在联合高斯模型下，第三等级会增加第二个阈值，并消除这种仿射拉伸的歧义。在一个七标准评判器对 MATH 和 SciBench 输出的评估中，全部 14 个构造出的逐标准拉伸在二值化后不可见，但在三等级下可见。在 $n=1{,}024$ 时，同时给定两种总体规律的检验在 $1.5\times$ 压力下至少具有 96.5% 的检验力。保留等级填补了二值化造成的一个盲点，但仅凭判定仍然不够，因为某些变化仍无法与真正的改进区分开来。这些变化包括任意的等级内变化，以及固定协方差、载荷对齐的均值偏移——这是评审小组将其解读为能力的谄媚式提升的特征。共享因子参考近似拟合了 MATH 和 SciBench，但未拟合 HealthBench，从而界定了其经验范围。我们建议至少保留三个等级（例如，询问评判器每项标准是完全满足、部分满足还是未满足，并奖励 {0, 0.5, 1}），并沿剩余方向对外部验证增益，而这一方向是任何更细的尺度都无法消除的。
| 评论： | 被 NeurIPS 2026 JUDGe workshop 接收。14 页，3 幅图，2 张表。14 页，3 幅图，2 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.35797 [cs.LG] |
| （或 arXiv:2609.35797v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.35797 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jacob Cole [查看电子邮件]
[v1]
2026 年 9 月 17 日星期四 20:29:21 UTC（427 KB）
[v2]
2026 年 10 月 19 日星期一 20:44:09 UTC（428 KB）
来源：arXiv cs.AI · arxiv.org