arXiv cs.AI· Zheng Zhang, Yifan Wu, Yuxiang Zhou, Qi Liu, Qingyang Mao, Ning Li, Weibo Gao, Qiyuan Shi, Zhenya Huang, Baosheng Yu·· 14 小时前AI 评分31
ComFair：面向 LLM 交叉性公平性的可配置多属性基准
Beyond Single-Attribute Auditing: A Configurable Multi-Attribute Benchmark for Intersectional Fairness in LLMs
AI 导读
研究者提出 ComFair，一个可配置基准，将现有公平性数据转换为 479,066 个受控的双属性与多属性实例，并为每个增强实例配对任务等价的原始样本。该基准覆盖 Recognition、Selection、Continuation 和 Conversation 四类任务，可统一审计性能或偏见分数偏移、新增属性引入新错误或掩盖已有错误的比例，以及模型排名稳定性。
正文 · AI 翻译
摘要：大型语言模型（LLM）正日益接受公平性评估，但现有大多数基准每次只审计一个敏感属性。这种单属性范式可能遗漏交叉性伤害，即多个属性以非加性方式相互作用，并产生在边际评估下不可见的失败。我们提出 ComFair，这是一个可配置基准，将现有公平性数据转换为 479,066 个受控的双属性和多属性实例，并将每个增强实例与其任务等价的源实例配对。在识别、选择、续写和对话任务中，这种配对支持统一审计性能或偏差分数的变化、新增属性引入新错误或掩盖已有错误的频率，以及模型排名的稳定性。对十个 LLM 的实验显示出任务和子群体相关的敏感性：判别式任务即使在总体变化不大时也会暴露两个方向的转变，生成式任务表现出更大且方向不对称的偏移，排名随属性组成而变化。因此，ComFair 提供了一种可扩展的受控敏感性审计——而非身份自然联合分布的模型——用于测试公平性基准结论在单属性设置之外的稳健性。
| 评论： | 已被 EMNLP 2026（主会议）接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.35069 [cs.AI] |
| （或 arXiv:2610.35069v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35069 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zheng Zhang [查看电子邮件]
[v1]
2026年10月26日星期一 09:14:28 UTC（484 KB）
来源：arXiv cs.AI · arxiv.org