arXiv cs.AI· Junhyung Ahn·· 10 小时前AI 评分32
AGORA：基于项目反应理论的 LLM 评审可靠性加权聚合方法
AGORA: Reliability-Aware Aggregation of LLM Judges via Item-Response Theory
AI 导读
AGORA 是一种基于项目反应理论的 LLM 评审聚合器，将每个条目映射到单一潜在质量量表，并用敏感度参数和有序评分阈值刻画每位评审，无需人工标签即可从全部条目联合学习评审可靠性。
正文 · AI 翻译
摘要：LLM-as-a-judge 是替代昂贵人工评估的常见方案，而聚合多个评审者是缓解任何单一评审者偏差的标准做法。评审者池中混合了可靠性差异很大的评审者，而用于验证它们的带人工标注数据集通常只有几百条或更少。在这种情形下，逐项均值对弱评审者和强评审者赋予相同权重，而 Dawid-Skene 等混淆表模型必须从过少的条目中估计每个评审者的误差表。我们提出 AGORA（Aggregation Of Reliability-weighted Assessments，可靠性加权评估聚合），这是一种项目反应理论聚合器，它将每个条目置于一个潜在质量量表上，并用一个敏感度参数和有序评分阈值来描述每个评审者，从而无需人工标签、从所有条目联合学习评审者可靠性。在三个基准上，AGORA 在大型评估集上达到或超过 Dawid-Skene，并且随着集合缩小到几百条，其优势扩大。当评审者池变得更加不均衡时，它仍保持准确；一种无标签的离散度统计量可提前指示信任加权何时有帮助，并且其学习到的信任权重与每个评审者的人工效度保持一致。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.05556 [cs.AI] |
| （或本版本的 arXiv:2611.05556v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.05556 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junhyung Ahn [查看电子邮件]
[v1]
2026年11月3日星期二 19:49:01 UTC（131 KB）
来源：arXiv cs.AI · arxiv.org