arXiv cs.MA· Nicol\`o Pagan, Michael Andreas Ebling, Stefania Ionescu, Anik\'o Hann\'ak·· 10 小时前AI 评分58
研究:AI 评估模型偏好特定 AI 模型撰写的求职申请,与候选人质量无关
AI evaluators favor job applications written by certain AI models, independent of candidate quality
AI 导读
一项 arXiv 论文用多模型审计框架,将 11 个 LLM 写作智能体与 9 个 API 评估智能体在 10 个职位描述、每职位 50 名候选人上交叉配对,发现评估方对写作模型存在一致的偏好排序,本地部署模型无论许可证如何都系统性处于劣势,并叠加评估方偏好自身输出的自偏好偏差。
正文 · AI 翻译
摘要:求职者越来越多地使用大语言模型(LLM)撰写求职信,而雇主则部署 LLM 对其进行筛选。在这种全 AI 场景下,我们探究\emph{模型选择}是否会在候选人资质之外独立影响招聘结果。我们提出一个多模型审计框架,将十一个 LLM 撰写智能体与九个 API 托管的评估智能体配对,覆盖十份职位描述、每份职位五十名候选人。我们得出四项发现。第一,我们发现一种生成式偏好层级:撰写模型按评估者接受度形成一致的全局排名,其中本地托管的模型无论其许可证如何都系统性地处于劣势,并叠加了自我偏好偏差——评估者偏爱自身输出。第二,评估模型因申请人工具选择而引入的偏差程度差异显著,这为更公平的筛选设计提供了可操作的指导。第三,这一层级具有可衡量的竞争后果:在最不利的配对中,二十五名合格候选人中约有两人(1.8 人)纯粹因模型不匹配而被筛除。第四,一个共同机制解释了上述模式:撰写者偏好与自我偏好可追溯到每个撰写者对特定风格线索的依赖程度,以及评估者(往往是全体一致地)对这些相同线索给予奖励或惩罚的强度。进一步检验发现,在控制这些相同特征后,几乎没有证据表明仍存在未被测量的“撰写者指纹”。我们讨论了这些发现对就业领域算法公平性、AI 辅助筛选监管,以及可随模型格局演变而重新应用的审计框架设计的启示。
| 学科: | 计算机与社会(cs.CY);人工智能(cs.AI);多智能体系统(cs.MA) |
| 引用为: | arXiv:2610.41866 [cs.CY] |
| (或本版本的 arXiv:2610.41866v1 [cs.CY]) | |
| https://doi.org/10.48550/arXiv.2610.41866 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Nicolò Pagan 先生 [查看邮箱]
[v1]
2026年10月30日星期五 15:18:29 UTC(10,985 KB)
来源:arXiv cs.MA · arxiv.org