arXiv cs.CL· Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi, Seohyon Jung·· 11 小时前AI 评分39
自我标签与他人标签会双向影响 LLM 评判者评分
Self- and Other-Labels Induce Bidirectional Bias in LLM Judges
AI 导读
研究发现，仅凭“自我”或“他人”标签、不点名任何模型，就能让 LLM 评判者双向偏移评分：对自我标签的选择抬高分数，对他人标签的选择压低分数，且与选择实际来源无关。实验让十个 LLM 评估无风格指纹的叙事约束集合，盲评下自我偏好消失，控制选择质量与评判严格度后仅剩反向小效应。作者据此提出作者归属是评估偏见的独立驱动因素，无真值任务可作为研究 LLM 评判行为的受控工具。
正文 · AI 翻译
摘要：随着 LLM-as-a-judge 日益普及，自我偏好——即评判者倾向于偏袒自身输出的现象——引发了人们对评估可靠性的日益担忧。然而，这一偏差此前主要在生成文本上被研究，而生成文本的风格特征与回答质量不可避免地混杂在一起。因此，现有测量方法无法将真正的自我偏好与这些混杂因素区分开来。我们通过改变评估对象来克服这一局限：十款 LLM 不再评判生成文本，而是评估从共享池中选出的叙事约束集合，这些约束不带有风格指纹，却保留了可恢复的模型特定特征。针对该任务的两项实验得出了互补的发现。在盲评条件下，自我偏好消失，而在控制选择质量与评判严格度后，仅剩一个方向相反的小效应。然而在质量匹配条件下，仅凭自我标签与他人标签——无需指明任何模型——就能双向改变评分。无论所选内容的实际来源如何，LLM 评判者都会抬高带有自我标签的选择的分数，压低带有他人标签的选择的分数。我们做出两点贡献：1）作者身份归属是评估偏差的一个独立驱动因素；2）无真值任务可作为研究 LLM 评判者行为的受控工具。
| 评论： | EMNLP Findings 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.18091 [cs.CL] |
| （或 arXiv:2608.18091v3 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2608.18091 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Songeun Chae [查看邮箱]
[v1]
2026年6月6日 星期六 05:50:13 UTC（3,987 KB）
[v2]
2026年9月6日 星期日 04:28:22 UTC（3,991 KB）
[v3]
2026年10月16日 星期五 04:41:23 UTC（3,991 KB）
来源：arXiv cs.CL · arxiv.org