arXiv cs.CL· Ziyi Zhu, Olivier Tieleman, Alexey Bukhtiyarov, Jinghong Chen·· 11 小时前AI 评分32
CyclicJudge：在 LLM 评测中高效缓解评审模型偏差
CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation
AI 导读
CyclicJudge 通过将评审模型轮转分配给各场景，在固定评审面板和评审调用预算下抵消评审模型的平均加性偏移，同时保持与单评审评测相同的成本。该方法基于将 benchmark 分数方差分解为场景、生成、评审和残差四部分的分析，在 MT-Bench 和 MindEval 上的实验验证了其降低分数方差、稳定模型排名的效果。
正文 · AI 翻译
摘要：LLM-as-judge 评估已成为开放式模型评估的标准做法；然而，评判者表现出系统性偏差，无法通过增加场景或生成次数来平均消除。这些偏差的幅度往往与基准测试旨在检测的模型差异相当，导致在使用单一评判者评估时排名不可靠。我们引入一种方差分解方法，将基准分数方差划分为场景、生成、评判者和残差分量。基于这一分析，CyclicJudge——将评判者以轮转方式分配给场景——被证明是在固定评判者小组和评判调用预算下的最优策略：它抵消了平均加性评判者偏移，同时与单一评判者评估的成本相当。在 MT-Bench 和 MindEval 上的实证结果验证了 CyclicJudge 的有效性，与预测一致，在通用和特定领域评估设置中均降低了基准分数方差并稳定了由此得到的模型排名。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2603.01865 [cs.CL] |
| （或 arXiv:2603.01865v4 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2603.01865 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing, pages 4527-4539, Budapest, Hungary, October 2026 |
| 相关 DOI： | https://doi.org/10.18653/2026.emnlp-main.197
链接到相关资源的 DOI |
提交历史
来自：Ziyi Zhu [查看电子邮件]
[v1]
2026年3月2日星期一 13:46:32 UTC（59 KB）
[v2]
2026年3月6日星期五 19:05:47 UTC（72 KB）
[v3]
2026年5月4日星期一 15:49:28 UTC（73 KB）
[v4]
2026年11月3日星期二 21:24:14 UTC（80 KB）
来源：arXiv cs.CL · arxiv.org