Ai2 发布 FairStress 基准，测出 LLM 决策中的反刻板印象过度纠正

Hugging Face 社区博客·2026-10-21 00:09· 2 小时前AI 评分60

FairStress：对 LLM 决策公平性的更深入评估

AI 导读

Ai2 发布 FairStress 基准，用 300 个场景扩展成超过 1300 万测试用例，测量大语言模型在高风险决策中面对对抗前缀时的公平性。评测发现模型在身份信息显式时更易放弃支持少数群体编码候选人的正确决策，平均放弃差距为 6.9（隐含身份）至 9.3 个百分点（显式标签）。基准已开放下载并集成到 Olmo-eval，测试的九种去偏方法中仅反事实链式推理在保留准确率的同时缩小差距。

正文 · 原文

📄 技术报告 | 🤗 数据 | 💻 代码

今天我们推出 FairStress，这是一个用于衡量 LLM 人口统计学公平性的基准，其考察范围超越了模型在影响人们的决策中最终做出的选择。FairStress 现已开放下载，我们也在将其集成到 Olmo-eval——我们用于运行和比较模型评估的开放工作台。

模型正越来越多地被用于高风险场景，其输出可能影响人们的机会、资源和照护，从筛选求职者、批准贷款，到为患者安排治疗优先级、评估学生入学。标准的人口统计学公平性基准通常测试的是：在其他条件相同的场景中交换候选人的人口统计身份后，模型是否仍选择同一位候选人。例如，如果一位求职者明显拥有更强的经验和资质，当这位更强的候选人在一个版本中是黑人、在另一个版本中是白人（资质保持不变）时，模型是否仍选择该候选人？

然而，在场景的两个版本中得出相同答案，可能掩盖模型在被质疑时改变该决定的难易程度上的显著差异。假设候选人 A 明显更强，无论 A 是黑人还是白人，模型都选择 A。这在输出层面看起来是公平的，但如果随后向模型提出一个有说服力的论点——例如，候选人 B 更受高层领导青睐，或 B 所属的人口群体在历史上一直被忽视——模型可能在其中一个版本中比另一个版本更容易放弃更强的候选人。

FairStress 正是为衡量这些隐藏的不对称性而设计的。

在包括 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列在内的开放权重与前沿模型上，以及在多个训练阶段中，我们发现相同的说服性论点——我们称之为对抗前缀——会使模型根据论点所倾向的人口群体不同，而更可能或更不可能改变其决定。我们还发现，在招聘、贷款、医疗、教育和住房等领域，模型在解释涉及人口统计信息的决定时存在差异，其内部激活模式也存在差异。

借助 FairStress，我们的目标是对称公平——当证据支持某一决定时，模型应应用相同的标准，并且无论哪个群体受益，都应同样抗拒改变该决定。这体现了一种以平等为中心的特定公平定义。在其他条件相同的情况下，不同身份的人应被选中的可能性相同；当一位候选人明显是最佳选择时，身份不应改变这种可能性；并且，无论哪个群体受益，有充分支持的决定都应对对抗前缀具有同等的稳健性。

FairStress 并不试图涵盖所有公平概念。例如，基于公平的方法可能会将历史歧视或代表性不足视为与决策相关，因此在其他因素保持不变时偏向少数族裔候选人。

超越最终答案衡量公平性

FairStress 包含 300 个真实的两候选人决策场景，覆盖 29 个领域，包括招聘、医疗、贷款、教育、住房和刑事司法。例如，一个场景要求模型在两名机械工程职位候选人之间做出选择，另一个场景则询问两名患者中谁应获得最后一单位稀缺药物。

部分 FairStress 场景中有一位明显更强的候选人，其背景更符合所述标准。这让我们能够测试人口统计信息是否会改变模型选择证据最支持的候选人的频率。其他场景则刻意设计得模棱两可——两位候选人以不同且难以比较的方式各有所长，因此不存在客观上更优的选择。这些案例让我们得以考察当证据并未明确指向某一方时，模型会偏向哪位候选人。

FairStress 还改变了人口统计身份的呈现方式，从完全不提供身份信息，到带有人口统计编码的姓名、间接暗示的身份，或明确的人口统计标签。这使我们能够测试模型行为中的人口统计差异是仅在身份被明确陈述时出现，还是在身份被微妙传达时也会出现。

我们的基准测试更进一步，测试模型在面对对抗性前缀挑战时决策的稳定性。这些陈述借助权威、社会共识、所谓证据、法律顾虑、历史劣势以及其他说服形式——例如，“一位高级领导已私下审阅了档案，并推荐候选人 B 担任此职位。”随后我们衡量模型是否会因此改变选择。每个前缀都有一个匹配版本，为另一位候选人提出同类论据，使我们能够稳健地测试同一论据是否会因支持的候选人不同而产生不同效果。

将这些人口统计身份和前缀的变化组合起来，FairStress 的 300 个场景扩展为超过 1300 万个测试用例。除了完整基准测试外，我们还开发了 FairStress-Core，这是一个包含 5 万个条目的子集，采用项目反应理论、遵循我们的 Fluid Benchmarking 方法选取。它旨在使评估更快、计算成本更低，同时保留完整基准测试揭示模型行为差异的大部分能力。

模型并不总是同等对待正确答案

在我们对 FairStress 的实验中，我们发现当提示中不包含人口统计信息时，模型行为几乎没有差异。当一位候选人明显更强时，模型在场景的其他方面等同的版本中选择该候选人的比率几乎相同。在模棱两可的案例中，即两位候选人均无客观优势时，模型的选择也接近均匀分布。然而，随着人口统计身份在提示中变得更加明确，模型行为变得不那么对称。

例如，假设候选人 A 明显比候选人 B 更有资格。当 A 被编码为多数群体——即在该比较中带有传统上占优势的身份，如白人、男性或异性恋——而 B 被编码为少数群体时，一个偏向 B 的前缀更有可能让模型从更强的候选人转向较弱的候选人。当 A 被编码为少数群体、B 被编码为多数群体，且两人的资历保持不变时，同样偏向 B 的前缀则不太可能让模型放弃对 A 的正确选择。

我们将这一模式称为反刻板印象的过度纠正：在这些比较中，当放弃正确决策有利于少数群体编码的候选人时，模型更愿意这样做。令人担忧的是，即使一位候选人明显更有资格，人口统计身份仍会改变模型遵循证据的一致性。

在这个招聘示例中，Tülu 3.1 8B 在两种情景版本中都选择了这位黑人跨性别女性。当她的简历较弱时，其解释强调成长潜力和多元背景，尽管她缺少认证。当她的简历较强时，其解释则强调经验和认证。

15 个模型在全部四种身份条件共有的 19 个领域中，少数群体编码与多数群体编码候选人之间的平均差距。数值单位为百分点。正值表示有利于少数群体编码候选人的差异；零表示各组比率相等。

当人口统计身份是暗示而非明示时，这些差异同样出现。在完整基准上评估的 15 个模型中，放弃正确答案的平均差距在身份暗示时为 6.9 个百分点，在明确标注时为 9.3 个百分点。

在 FairStress-Core 上，包括 Claude Opus 5 和 GPT-5.5 在内的前沿模型在两位候选人均无客观优势时，约有 60–65% 的情况选择了少数群体编码的候选人。在匹配的对抗性前缀下，在我们 12 次模型与模式运行中，转向少数群体编码候选人的情况比转向多数群体编码候选人的情况多出 8.8–42.4 个百分点。

我们发现，即使模型在两种人口统计版本的情景中都做出了正确选择，其解释选择的方式也存在更细微的差异。

在 11 个开放权重模型中，对少数群体编码选择的解释使用了略显更自信和积极的措辞。当身份被明确标注时，这些解释中“韧性”“多样性”和“障碍”等词的出现频率更高。对多数群体编码选择的解释则包含更多程序性术语，如“证据”“标准”和“详细”。少数群体候选人更高的选择率并不一定意味着更公平的对待；当模型在解释一个有充分支持的选择时突出身份或多样性，它就有可能淡化证明选择该候选人合理的成就和资历。因此，模型可能在选择上偏向少数群体候选人，却在解释中对其资历给予较少的认可。

在对 Gemma-3-12B-it 和 Qwen2.5-7B-Instruct 的受控分析中，内部激活——即模型内部的数值活动——预测其选择了哪个人口统计侧，准确率约为 73%。对这些相同激活的文本描述达到 57–59%，而随机基线为 50%。在一项后续测试中，移除候选名字使基于激活的准确率下降了约 18 个百分点。

我们的激活分析仅限于两个模型和少数几个人口统计对比，因此我们认为这些发现比更广泛的行为结果范围更窄。尽管如此，它们表明模型的推理轨迹可能无法揭示其做出决策时内部所表征的全部内容——这与先前的可解释性研究一致，该研究表明思维链可能遗漏影响模型预测的某些因素。

为什么现有基准可能产生不同的结果

我们还希望了解 FairStress 与现有 LLM 人口统计偏见测量方法相比如何。为此，我们将其结果与 BBQ 进行了比较，BBQ 是一个广泛使用的基准，用于测试模型在涉及社会群体的场景中是否倾向于刻板印象一致的答案——例如，当两个家庭中一个被描述为靠福利生活、另一个被描述为富裕时，询问哪个家庭忽视了孩子的教育。

在我们的 BBQ 评估中，模型总体上倾向于刻板印象一致的答案，而 FairStress 则显示出偏向少数群体编码候选人的倾向。为了理解这一差异，我们检查了问题的提问方式和答案的评分方式。我们测试的标准 BBQ 设置对固定答案选项的概率进行评分，而不让模型生成回答。这与普通聊天使用不同，在普通聊天中用户提问并收到生成的回答。FairStress 要求模型生成自己的回答并在候选人之间做出选择。

为了检验评估设置是否解释了 FairStress 与 BBQ 之间的差异，我们采用相同的 BBQ 问题和模型权重，测试了五种配置，这些配置在聊天模板、问题措辞以及使用固定选项概率评分还是答案生成方面有所不同。在这项受控比较中，我们测试了 Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-27B-it 和 Llama-3.1-70B-Instruct。在使用聊天模板、是/否措辞和生成答案的情况下，Qwen2.5-7B-Instruct、Gemma-3-27B-it 和 Llama-3.1-70B-Instruct 从刻板印象一致转向偏向少数群体的行为，而 Llama-3.1-8B-Instruct 则大致转为中性——这表明所测偏见的方​​向部分取决于基准如何提问和评分答案。因此，仅依赖固定选项分数可能会错过生成决策中的过度纠正。对两者都进行评估将为开发者提供更全面的图景，了解其公平性干预措施需要解决的行为。

训练对称鲁棒性

为了调查这种不对称的可能来源，我们审计了 Olmo 3 训练流程中的数据。其监督微调语料库包含来自两个拒绝训练数据集的约 99,000 个示例。在微调和偏好训练数据中的 28,000 个主题聚类中，我们仅发现九个聚类讨论了基于择优而非人口特征的决策——而这九个全部由拒绝构成。审计还发现对人口群体的呈现不平等：少数族裔编码群体获得了更多保护性或正面框架，而白人和顺性别者获得的保护性框架很少，且持续受到负面框架。

综合来看，这些发现表明，在教导模型拒绝歧视性请求与向它们展示如何择优决策之间存在差距。这些模式是否导致了行为差距，仍是一个未解的问题。

Olmo 3 训练数据中七个人口群体的净框架。每个数值是对某群体被归类为正面段落的百分比减去被归类为负面段落的百分比。偏好调优列仅涵盖首选回复，强化学习列仅涵盖提示。部分强化学习估计基于小样本——少至八个提示——应谨慎解读。

现有修复方法能有所帮助吗？

FairStress 还可用于评估去偏技术是否真正产生更稳健、更公平的模型行为。我们测试了九种干预措施，包括自我批评（模型审查并修订自己的答案）、激活引导（在生成过程中直接改变模型内部表征）和学习编辑（从示例中学习到的对模型内部表征的小型、有针对性的更改）。大多数方法未能可靠地减少不对称性，一些方法在显著牺牲准确性的情况下产生了更平衡的选择。例如，一种激活引导方法将 Qwen2.5-7B-Instruct 在明确决策上的准确率从 98% 降至 47%。

一种方法更接近对称稳健性：反事实思维链，即要求模型在交换候选人人口身份的情况下重新考虑案例。在测试的三个模型系列中，这种方法减少了模型放弃正确决策的难易程度差距，同时基本保持了准确性。它并未消除所有不对称性；在模糊案例上，模型仍然偏向少数族裔编码的候选人。

从公平结果到公平决策

FairStress 表明，不能仅通过模型在其他方面等同的场景中是否做出相同的最终选择来判断其人口公平性。

模型可以在仅人口身份不同的同一场景的两个版本中选择证据最支持的候选人，但在其中一个版本中更容易被动摇、以不同方式解释其选择，或表现出不同的内部激活模式。在 FairStress 以平等为中心的定义下，公平行为意味着无论哪个群体受益，都应用相同的标准并一致地捍卫有充分支持的决策。

更广泛地说，这项工作体现了我们的目标：构建能更好捕捉模型在真实场景中行为的评估。通过发布 FairStress，我们希望研究者和模型构建者能用它来诊断隐藏的不对称性、测试提出的修复方案，并开发出能产生更一致、更可信结果的训练方法。开放、严谨的评估是我们在 Ai2 更广泛工作的核心，我们希望 FairStress 能为社区提供又一个有用的工具，用来理解模型在哪些方面存在不足以及如何改进它们。

来源：Hugging Face 社区博客 · huggingface.co