arXiv cs.CY· Louise Yorke·· 12 小时前AI 评分44
聚合分数掩盖了什么：系统改变 Arena-Hard 的 LLM 评判设置揭示了什么
Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals
AI 导读
研究用 500 条 Arena-Hard v2.0 提示词、固定两个模型的回答，让 GPT-4.1 在 criteria、输出格式与任务框架的八种组合下担任评判，并在 temperature 0 下重复运行。
正文 · AI 翻译
摘要：LLM 评判器用于判定两个答案中哪一个更好。要信任这些判定，就需要知道它们的可重复性如何，以及它们在多大程度上依赖于评判器的指令。我们表明，相似的总体得分可能掩盖单个判定结果的显著变化，无论是重复同一设置时，还是指令发生变化时。我们使用 500 条 Arena-Hard v2.0 提示词，并固定两个模型的答案，在评判标准、输出格式和任务框架的全部八种组合下运行 GPT-4.1 作为评判器，并在固定模型版本上以温度零对每种设置原样重复。重新运行默认设置会使总体得分变动约 1 分，但会改变 21.2% 提示词的胜/平/负结果。指令变化会引入进一步的敏感性：在一种设置中，该设置要求在不给出推理的情况下给出判定，并且还去掉了若干其他指令，结果发生变化的提示词比两个设置原样重跑平均多出 28.2 个百分点，且总体得分下降 4.09 分。在另一种设置中，评判标准优先考虑准确性，按同样的比较，结果发生变化的提示词多出 6.7 个百分点，而总体得分几乎不变。因此，稳定的总体得分并不能证明单个判定是可重复的。当这些判定被用作偏好标签或用于评估单个回答时，这一区别很重要。依赖单个判定的评估应重复其使用的每种设置，并同时报告总体得分和提示词级别的一致性。
| 评论： | 已被 JUDGe 研讨会（Can We Trust the Judge?）接收，NeurIPS 2026（非存档）。18 页，3 幅图。代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.30512 [cs.CL] |
| （或 arXiv:2610.30512v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30512 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Louise Yorke [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 22:46:14 UTC（191 KB）
来源：arXiv cs.CY · arxiv.org