跳到正文
arXiv cs.CY· Huy Nghiem, Maria Kostylew, Noam Kolt·· 9 小时前AI 评分38

HireWatch:评估 LLM 在上下文压力下对美国雇佣法的合规性

HireWatch: Evaluating LLM Compliance with U.S. Employment Law Under Contextual Pressure

AI 导读

HireWatch 是评估 LLM 是否遵守美国雇佣法面试提问规则的基准,基于美国联邦法规构建了 200 条合法与违法面试问题库。对 18 个闭源与开源权重 LLM 进行约 10 万次试验显示,模型在低压力情境下通常能避开违法问题,但压力升高后违法率急剧上升;明确要求守法的提示词可提升合规率,却无法完全消除违法行为。代码与数据已公开。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)在招聘流程中的部署日益增多,但现有评估普遍忽视其对法律规则的遵守情况。为填补这一空白,我们推出 HireWatch,这是一项评估,用于考察 LLM 是否遵守美国法律中关于可向求职者提问内容的规定。我们构建了一个包含 200 道合法与非法面试问题的题库,其法律分类依据美国联邦法规、规章及机构指南。我们指示 LLM 在准备面试时从该题库中选题,覆盖多种职业与情境,并报告 LLM 选中非法问题的比例。在不同类型的语境压力下,对 18 个闭源与开放权重 LLM 进行了约 100,000 次试验的评估,结果显示 LLM 的法律合规性十分脆弱。尽管 LLM 在低压力语境下通常避免选择非法问题,但在更高压力下,违法行为急剧增加。明确提示要求遵守法律可提高合规率,但并不能完全消除违法行为。我们在 此 https URL 公开发布了代码和数据。
评论: NeurIPS 2026 评估与数据集方向。法律与 AI
主题: 计算与语言(cs.CL);人工智能(cs.AI);计算机与社会(cs.CY)
引用为: arXiv:2611.24970 [cs.CL]
  (或 arXiv:2611.24970v1 [cs.CL] 为本版本)
  https://doi.org/10.48550/arXiv.2611.24970

arXiv 颁发的 DOI 由 DataCite 提供(待注册)

提交历史

来自:Huy Nghiem [查看邮箱]
[v1] 2026年11月16日 星期一 03:48:54 UTC(436 KB)

来源:arXiv cs.CY · arxiv.org