跳到正文
arXiv cs.AI· Spandan Roy, Subhabrata Majumdar, Soudeep Deb·· 4 小时前AI 评分38

AI 能评判你吗?LLM 辅助招聘系统部署就绪度的实证审计

Can AI Judge You? An Empirical Audit of Deployment Readiness in LLM-assisted Hiring Systems

AI 导读

一项实证审计构建了分离候选人证据、评估、权限控制与评估记录的系统架构,在 210 份简历、14 个岗位和 6 种决策界面上测试了 4 个 LLM。结果显示标量评分比简单通过/不通过更能区分资质变化,比较式判断则对呈现顺序敏感;显式权限规则与简历内容/指令分离可降低未授权遵从,但效果因 LLM 和使用场景而异。研究还发现 LLM 评估者的决策与给出的理由常不一致。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:将简历筛选委托给大型语言模型(LLM)要求组织确定其能否根据相关资质区分候选人,同时仅允许授权用户更改筛选规则或批准例外。为此,我们开发了一种系统架构,将候选人证据、评估、权限控制和评估记录分离,并从两个互补维度对其部署就绪程度进行实证检验。首先,我们通过一项受控实验,在 14 个职位角色和六种决策界面上对 210 份简历进行评估,以检验其在四个 LLM 上的运行就绪程度。其次,我们通过测试其如何处理未经授权的用户请求和简历中嵌入的指令,来评估其合规就绪程度。我们发现,运行性能取决于评估界面的选择:标量分数通常比简单的通过/不通过判断更能区分资质变化,而比较性判断对呈现顺序敏感。明确的权限规则以及将简历内容与指令分离可减少未经授权的遵从,其有效性因 LLM 和使用情境而异。最后,我们发现 LLM 评估者的决策与其给出的理由之间常常存在分歧。我们的框架不仅限于评估 LLM 用于招聘任务,还支持对完全配置的简历评估系统进行审计,以支持其部署决策。
评论: 46 页,11 张图
主题: 计算机与社会(cs.CY);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2611.20140 [cs.CY]
  (或 arXiv:2611.20140v2 [cs.CY] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.20140

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Spandan Roy [查看电子邮件]
[v1] 2026 年 11 月 15 日周日 17:16:09 UTC(5,334 KB)
[v2] 2026 年 11 月 17 日周二 04:52:31 UTC(5,334 KB)

来源:arXiv cs.AI · arxiv.org