arXiv cs.AI· Hiroyasu Usami, Keisuke Hara, Ayato Tsuboi, Naohiko Matsuda·· 3 天前AI 评分29
LLM 评判模型的暗电流：LLM 评判可靠性的分层零假设与效用检验
LLM Judges Have Dark Current: Stratified Null and Utility Tests for LLM Judge Reliability
AI 导读
研究提出 LLM 评判模型存在"暗电流"现象，即对完全相同的重复输入仍产生非平局偏好。在 102 条 RewardBench 2 样本上，四个配置-准则组合均报告 0/102 克隆偏好，但严格效用下界 .539 和 .745 未达 .75 阈值；另一配置出现 2/102 克隆偏好却通过中性效用检验。
正文 · AI 翻译
摘要：通过精确克隆零门并不蕴含通过匹配的目标选择效用门。我们将精确重复项之间的非平局偏好称为暗电流。在 102 条预先指定的全新 RewardBench 2 行上，全部四个配置—标准单元格均报告 0/102 克隆偏好。两个中性效用臂均通过，但严格效用下界 .539 和 .745 未达到 .75 的工作阈值。相反，对相同行在两个额外配置上重新评估，得到一个中性 gpt-oss 效用通过，克隆偏好为 2/102，使低零行为未获认证。一个单独冻结的 485 行扩展在一个本地原始文本配置下、在两种标准下均通过两个总体工作门，但严格精确指令遵循（Precise IF）对齐为 58/154（.377）。因此，匹配的零结果与效用结果可能背离，总体通过可与弱子集对齐共存。解释以所声明的配置、固定源混合、源标签目标和研究特定工作模型为条件。这些界限是边际的，子集率是描述性的，未认证并不证明存在缺陷。
| 评论： | 21 页，4 幅图，9 张表。大幅修订：输入分层零审计与目标选择效用审计、额外固定配置研究，以及一个可操作审计协议。取代 v1，原题为“LLM Judges Have Dark Current: A Psychometric Datasheet for LLM-as-a-Judge Evaluation”。 |
| 主题： | 计算与语言（cs.CL）；天体物理学仪器与方法（astro-ph.IM）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.15610 [cs.CL] |
| （或 arXiv:2606.15610v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.15610 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hiroyasu Usami [查看电子邮件]
[v1]
2026 年 6 月 14 日星期日 05:34:17 UTC（329 KB）
[v2]
2026 年 10 月 12 日星期一 20:24:02 UTC（205 KB）
来源：arXiv cs.AI · arxiv.org