arXiv cs.AI· Qi Cao, Kangning Liu, Xuan Kan, Shunwen Tan, Yang Pei, Dake Chen, Yatai Ji, Zixuan Ye, Yuanpeng Tu, Daniel Li, Junbiao Tang, Pengtao Xie, Zihao He·· 10 天前AI 评分29
JudgeProfile：理解并引导 LLM 评判者的主观性
JudgeProfile: Understanding and Steering Subjectivity in LLM Judges
AI 导读
研究团队提出 JudgeProfile 框架，将 LLM 评判拆解为感知（跨清晰度、正确性、细节等属性比较两个回答）与优先级（各属性对最终选择的影响权重）两部分，并构建了 SubjectiveSet 数据集，包含来自 17 个公开数据源的 50,013 对回答，由 21 个 LLM 评判者在 87 个属性上评估。
正文 · AI 翻译
作者：Qi Cao、Kangning Liu、Xuan Kan、Shunwen Tan、Yang Pei、Dake Chen、Yatai Ji、Zixuan Ye、Yuanpeng Tu、Daniel Li、Junbiao Tang、Pengtao Xie、Zihao He
摘要：LLM 评判者本质上具有主观性，当两个选项都没有客观错误时，它们在成对比较中往往偏好不同的回答。为了研究这种主观性，我们提出了 JudgeProfile，一个将 LLM 评估拆解为感知（评判者如何跨清晰度、正确性和细节等特定属性比较两个回答）和优先级（每个属性对最终选择的影响程度）的框架。我们构建了 SubjectiveSet，一个包含来自 17 个公开数据源的 50,013 个回答对的数据集，由 21 个 LLM 评判者在 87 个属性上进行评估。我们发现感知中存在一种隐藏的共识：即使评判者的整体选择出现分歧，它们也常常在属性判断上达成一致。基于这种分离，我们首先利用从每个评判者自身整体选择中估计出的属性权重来刻画其优先级。即使从相同的属性判断中估计，这些权重在不同评判者之间也存在差异。然后，我们从参考标签中学习新的权重，以使其决策适应目标评估标准。对感知到的属性重新加权后，与参考标签的平均留出集一致率从 66.48% 提升至 71.97%，优于微调和评分标准提示。我们的研究结果表明，理解和引导 LLM 评判者的主观性，不仅需要关注它们感知到了什么，还需要关注它们如何对其划分优先级。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.36705 [cs.AI] |
| （或使用 arXiv:2609.36705v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.36705 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qi Cao [查看邮箱]
[v1]
2026年9月29日星期二 04:43:28 UTC（741 KB）
[v2]
2026年10月6日星期二 00:21:07 UTC（741 KB）
来源：arXiv cs.AI · arxiv.org