arXiv cs.AI· Vineet Kumar, Darshita Rathore, Anindya Moitra·· 9 天前AI 评分25
并非所有判定都等价：重新审视 LLM Judge 的可靠性
All Verdicts are Not Equal: Rethinking LLM Judge Reliability
AI 导读
一项针对 LLM-as-a-Judge 的可靠性审计发现，六个前沿模型在温度为零的重复评测中判定仍会变化，位置顺序互换会翻转多数判定，最确定的评判模型仅靠重复错误判定实现完美一致性，与真实标签一致率只有 51%。研究提出可信判定率（T）指标，用于衡量评测可复现、顺序不变且准确的联合概率，并证明可靠性是逐样本而非模型级别的。从成对胜率转向整体评分标准打分，比任何单一提示词格式干预都更能提升可信度。
正文 · AI 翻译
摘要：LLM-as-a-Judge 是 NLP 评估的标准范式，但其系统性可靠性仍鲜为人知，尽管它被广泛视为确定性的基准真值。我们开展了一项全面的可靠性审计，对六个前沿模型进行压力测试，涵盖四个基准、五种提示格式、两种呈现顺序、三个采样温度，以及每种条件十次重复。我们的实证分析揭示了严重漏洞：在温度为零时，相同重复实验的判定结果会发生变化；在困难任务上，位置顺序交换会翻转大多数判定结果；而最具确定性的评判者通过简单地重复错误判定来实现完美一致性，其与基准真值的一致率仅为 51%。为了形式化这些多方面的失败模式，我们引入了可信判定率（T），这是一个统一指标，捕捉评估可复现、顺序不变且准确的联合概率。利用 T，我们推导出位置偏差所施加的准确率理论上限，并表明可靠性是项目特定的，而非模型层面的。最后，我们证明从成对胜率转向整体评分标准评分，比任何单一格式的提示干预都更能提升可信度，为稳健的 NLP 评估提供了一个可操作的框架。
| 评论： | 已被 AACL IJCNLP (Main) 2026 接收 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.12083 [cs.CL] |
| （或 arXiv:2610.12083v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12083 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Vineet Kumar [查看电子邮件]
[v1]
2026年10月8日星期四 14:55:29 UTC（732 KB）
来源：arXiv cs.AI · arxiv.org