arXiv cs.CL· Danial Amin, Joni Salminen, Bernard J. Jansen·· 10 小时前AI 评分47
研究：LLM 无法保持中立，候选人与评估者性别会影响 LLM-as-a-Judge 决策
LLMs Cannot Be Neutral: Gender Sensitivity Across Candidates, Evaluators, and Models
AI 导读
研究用 8 个模型对 NVIDIA Nemotron-Personas 数据集的 240 份合成职业叙述做城市议会投票评测，共产生 30,720 次判断。
正文 · AI 翻译
摘要：大语言模型（LLM）越来越多地被用于评估专业岗位的候选人，这引发了人们对其对人口统计身份敏感性的担忧。我们考察了候选人和评估者的性别分配如何影响 LLM-as-a-Judge（LaJ）模型和决策语言模型（DLM）的决策。在一个假设的市议会投票任务中，八个模型在独立变化的性别分配下，评估了来自 NVIDIA 美国与法国 Nemotron-Personas 数据集的 240 份合成职业叙述，产生了 30,720 条判断。与未指定性别相比，明确的候选人性别标签使赞成票概率提高了 1.05-1.73 个百分点，而只有非二元评估者分配显示出显著提高（1.26 个百分点）。身份匹配总体上未显示出显著关联。赞成票率因模型而异（81.3-97.2%），并且有 2.5-3.3% 的决策相对于未指定身份基线发生了反转。在明确性别身份之间直接替换的情况下，DLM 表现出的决策反转少于 LaJ 模型（1.18% 对 3.38%），表明在所测试的 DLM 中观察到的决策层面性别敏感性较低。这些发现表明，性别敏感性取决于候选人和评估者的身份以及评估模型，同时强调了在考察总体差异的同时检查个体决策一致性的重要性。
| 评论： | 本稿件正在 FAccT'2027 审稿中 |
| 主题： | 计算与语言（cs.CL）；人机交互（cs.HC） |
| 引用为： | arXiv:2611.02692 [cs.CL] |
| （或 arXiv:2611.02692v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02692 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Danial Amin [查看电子邮件]
[v1]
2026年11月2日星期一 07:41:05 UTC（5,442 KB）
来源：arXiv cs.CL · arxiv.org