arXiv cs.AI· Yang Ba, Michelle V. Mancenido, Rong Pan·· 3 天前AI 评分24
我们能否信任这项评估？LLM-as-a-Judge 的实例级可靠性
Can We Trust This Evaluation? Instance-Level Reliability of LLM-as-a-Judge
AI 导读
研究提出 SCUR（Structured Cross-fitted Uncertainty Risk），一种无需标签、基于评审面板行为估计实例级评估可靠性的方法。
正文 · AI 翻译
摘要：LLM-as-a-judge 评估通常将多个评判者的决策聚合为多数投票，但这种小组决策过程并不能保证对单个条目的评估是可靠的。我们提出结构化交叉拟合不确定性风险（SCUR），一种基于评判小组行为、无需标签的实例级评估可靠性估计方法。一个潜在测量模型作为测量系统分析的骨干，SCUR 从中导出三种互补信号，分别捕捉小组不确定性、测量交叉熵和扰动敏感性。这三种证据来源被组合成一个风险分数。我们在五个真实世界基准上使用多数投票错误排序、选择性信任和风险分层来评估 SCUR 方法。此外，我们表明我们的方法在检测高共识风险条目方面更有效，而这些条目是许多其他 LLM-as-a-judge 评估方法的盲点。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.14029 [cs.LG] |
| （或 arXiv:2610.14029v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14029 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yang Ba [查看电子邮件]
[v1]
2026年9月30日星期三 23:10:20 UTC（241 KB）
来源：arXiv cs.AI · arxiv.org