arXiv cs.CL· Bruno Brocai, Maria Becker·· 11 小时前AI 评分31
配对难度很重要：重新审视成对 LLM-as-a-Judge 评估与一致性
Pair Difficulty Matters: Rethinking Pairwise LLM-as-a-Judge Evaluation and Consistency
AI 导读
研究指出，位置偏差、传递性和成对一致性这三项 LLM-as-a-Judge 常用可靠性指标具有误导性：在 Bradley–Terry 几何下，它们主要由排名差距小的配对主导，而这类配对的不一致在信息论上本就可预期。受控模拟和两个人工评分语料验证显示，这些指标与排名准确率仅弱相关，其预测成分集中在差距大的配对区间。作者主张按排名差距条件化评估评判模型，并最好以人类排名为基准。
正文 · AI 翻译
摘要：大型语言模型评判者被广泛用于通过成对比较对文本和文本生成系统进行排序，其可靠性通常通过三个代理指标来评估：位置偏差、传递性和成对一致性（自标注或人工标注）。由于这些代理指标驱动着评判者的选择和基准测试，大量文献报告评判者在这些指标上表现不佳，这可能会使实践者远离原本有能力的评估器。我们认为这种评估具有误导性。在成对聚合所依据的 Bradley--Terry 几何结构下，每个代理指标都由排名差距较小的配对主导，在这种情况下不一致在信息论上是可预期的，且单个判定对聚合排名的贡献很小；差距较大的配对承载排名信号，但几乎不影响这些代理指标。我们形式化了这一论点，并在受控模拟和两个人工评分语料库上进行了验证：这些代理指标与相对于金标准的排名准确率仅弱相关，其预测成分集中在差距较大的区间。因此，评判者应基于排名差距条件化指标进行评估，最好对照人类排名。代码见 此 https URL。
| Comments: | 被接收为 EMNLP 2026 短文。v2：改进图标签 |
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.37577 [cs.CL] |
| （或 arXiv:2609.37577v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.37577 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bruno Brocai [查看邮箱]
[v1]
2026年9月29日星期二 13:40:25 UTC（365 KB）
[v2]
2026年10月20日星期二 14:15:16 UTC（369 KB）
来源：arXiv cs.CL · arxiv.org