arXiv cs.CL· Zihao Sun·· 10 小时前AI 评分34
从语言到国家到效价：跨 LLM 刻板印象偏见的多语言审计
From Language to Country to Valence: A Multilingual Audit of Stereotype Bias Across LLMs
AI 导读
一项多语言审计用 12,000 条英、西、法、德本地撰写的 Reddit 帖子评估 3 个开源权重模型和 3 个闭源 API 模型的性别、种族与宗教偏见，仅翻译搜索词以保留本地语境。宗教在所有模型-语言组合中绝对选择失衡最高，西班牙语在性别上最高，德语在种族和宗教上最高，且 API 模型整体得分低于开源权重模型。英文性别条目中负面项多于正面项，澳大利亚与墨西哥语境高于加拿大与西班牙对应语境。
正文 · AI 翻译
摘要：大型语言模型（LLM）正越来越多地被考虑用于教育、招聘、职场决策支持及其他具有重大影响的场景，因此部署前的社会偏见检测至关重要。然而，主流基准以英语为中心或经翻译而来，主要关注负面刻板印象，可能遗漏语言和文化差异。我们使用 12,000 条本地撰写的 Reddit 帖子，涵盖英语、西班牙语、法语和德语，研究性别、种族和宗教偏见。仅翻译搜索词，保留本地语境。数据集按语言和类别平衡；英语性别还按刻板印象效价平衡。我们以双空格设计评估了三个开放权重模型和三个基于 API 的专有模型，该设计可减少语法性别线索。在所有模型-语言条件下，宗教的绝对选择不平衡度最高。西班牙语在性别方面最高，而德语在种族和宗教方面最高。所评估的 API 模型整体得分低于开放权重模型。英语性别负面条目多于正面条目；澳大利亚和墨西哥语境高于加拿大和西班牙对应语境。这些描述性差异衡量的是选择集中度，而非刻板印象认同或因果性的国家效应。交叉模式表明，聚合得分可能掩盖类别和语境特定的行为，这促使在部署前进行更细致的检查。
| 评论： | 10 页。作者预印本；会议评审进行中 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02585 [cs.CL] |
| （或 arXiv:2611.02585v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02585 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zihao Sun [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 06:11:09 UTC（38 KB）
来源：arXiv cs.CL · arxiv.org