arXiv cs.AI· Laur\`ene Vaugrante, Thilo Hagendorff·· 10 天前AI 评分34
LLM-as-a-Judge 的设计选择影响有多大？提示词、评分量表与模型的系统对比
How Much Do LLM-as-a-Judge Design Choices Matter? A Systematic Comparison of Prompt Designs, Rating Scales, and Models
AI 导读
一项研究系统评估了 10 个推理模型在 LLM-as-a-Judge 中的提示词、评分量表与模型选择影响：评分任务中多数评审可靠（1-7 量表上平均绝对偏差 0.11 分），准确率分类任务平均准确率达 96.5%。
正文 · AI 翻译
摘要：研究人员越来越多地使用大语言模型作为评判者（LLM-as-a-judge）来评估模型输出。然而，目前尚无关于如何设计这些评判者的标准。通常，研究人员凭直觉选择提示词、评分量表和模型。如果这些选择改变了评判者的裁决，两项研究就可能对相同事实得出不同结论。为应对这一风险并为评判者设计提供实证依据，我们在两项任务上评估了 10 个推理模型在多种设计下的表现：句子情感与毒性的标量评分（每类超过 500 个条目），以及问答对的二元准确性分类（n=600）。对于评分任务，尽管评判者与人类基准真值存在显著分歧，但差异的实际幅度足够小，足以认为大多数评判者是可靠的（在 1-7 量表上平均绝对偏差为 0.11 分）；毒性评判者甚至优于标准分类器。对于准确性分类任务，评判者平均而言也高度准确（96.5%）。然而，设计选择可能产生偏移：仅改变评分量表就可能使测得的偏差偏移多达 0.93 分（评分任务），而尽管准确率水平很少受到影响，设计选择却会持续影响评判者的宽松度（分类任务；使用详细提示词时宽松度下降 28.9 个百分点，切换模型时下降多达 56.1 个百分点）。与直觉相反，较低的推理努力既不影响准确率也不影响宽松度。在两项任务中，模型身份都是方差的主要来源。这些发现表明，虽然 LLM 评判者总体上是广泛可信的，但设计选择可能是方差的显著来源。鉴于 LLM 研究中日益依赖自动化评估，我们希望本研究能作为方法学参考，用于设计更稳健、更可复现的 LLM-as-a-judge 流程。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.05094 [cs.CL] |
| （或 arXiv:2610.05094v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.05094 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Laurène Vaugrante [查看邮箱]
[v1]
2026年10月4日星期日 09:56:48 UTC（592 KB）
来源：arXiv cs.AI · arxiv.org