arXiv cs.CL· Justin D. Norman, Michael U. Rivera, D. Alex Hughes·· 11 小时前AI 评分20
研究：LLM-as-a-Judge 评测可靠性不等于有效性，21 个评审模型在一致性、偏差审计中暴露系统性缺陷
Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias
AI 导读
一项对 LLM-as-a-Judge 的大规模系统评测发现，精确匹配一致率会系统性高估评审模型的判别能力，在 MT-Bench 上精确匹配与 Cohen's kappa 的差距达 33–41 个百分点。
正文 · AI 翻译
本文已被 arXiv 管理员撤回
摘要：LLM-as-a-Judge 已成为语言模型的主流评估范式，但实践中的评判器验证依赖精确匹配一致率，这一指标未对随机一致性进行校正，并系统性地高估了判别能力。我们呈现了迄今为止规模最大的 LLM-as-a-Judge 系统性评估：来自九家提供商的 21 个评判器，覆盖 MT-Bench、JudgeBench 和 RewardBench，在三种协议（一致率、一致性、偏差审计）下评估，共 118 次运行、约 541,000 条独立判断。得出四项发现，且在整个队列中保持一致，包括 2026 年 4 月的前沿模型：精确匹配与 Cohen's kappa 之间的 kappa 缩水是普遍现象（MT-Bench 上为 33--41 个百分点），评判器排名在不同基准间最多移动 14 位，两个生产部署的评判器中高重测信度（>0.95）与严重位置偏差（>0.10）并存（即一致性—偏差悖论），而在单一成对评分标准下，我们队列中的冗长偏差很小（<0.011）。我们将这些提炼为最小可行验证协议。
| 评论： | arXiv 管理员注：本投稿因不符合 arXiv 的研究内容质量标准已被撤回 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.19544 [cs.CL] |
| （或 arXiv:2606.19544v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.19544 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：arXiv 管理员 [查看邮件]
[v1]
2026 年 6 月 17 日周三 19:37:13 UTC（506 KB）
[v2]
2026 年 11 月 3 日周二 20:53:09 UTC（1 KB）（已撤回）
来源：arXiv cs.CL · arxiv.org