arXiv cs.CL· Harsh Kumar·· 3 天前AI 评分27
多语言模型偏见审计研究：更低的偏见分数不等于更公平的模型
Lost in Translation: Why Lower Bias Scores Don't Mean Fairer Models
AI 导读
一项针对 10 个开源模型、8 种语言的偏见审计研究发现，全部 70 个模型-语言组合的刻板印象分数均低于英语水平，但这一下降主要来自测试项本身的变化而非模型更公平。翻译后的测试项与英语原项的分数相关性仅 0.23（忠实翻译为 0.27），远低于改写英语项的 0.48，说明平均分无法区分偏见降低与分数模式改变。研究还记录了三种会静默抹除偏见信号的常见流程错误，并开源了代码。
正文 · AI 翻译
摘要：多语言语言模型的偏见审计通常将模型在英语中的平均刻板印象得分与在另一种语言中的平均值进行比较，并将差异解读为公平性差异。我们追问这一差异中有多少是噪声。我们对八种语言中的十个开放模型进行审计，测量当英语测试项目仅仅被改写时得分变化多少，逐项检验每一种语言转换，并检查该测试能否捕捉到我们故意注入的转换。在所有 70 个模型-语言对中，刻板印象得分都低于其英语水平，而对于印地语、韩语和斯瓦希里语，下降幅度明显超过改写英语所产生的效果；其中大部分来自 StereoSet 项目。对每个翻译进行评判后，我们发现不完美的翻译下降更多，但仅忠实翻译的下降幅度也几乎同样大。尽管如此，较低的平均值并不能表明模型更公平。一个项目的英语得分对其翻译后得分的预测能力远不如对其改写后得分的预测能力（相关性为 0.23，忠实翻译上为 0.27，而改写为 0.48），同时得分与中性保持同样远的距离，模型在翻译项目上保持一致，而在印地语或西班牙语内部，一个翻译项目的得分与其自身改写得分的相关性分别为 0.84 和 0.82。平均值无法区分偏见更低与项目级得分模式不同。我们还记录了三种会悄然抹除偏见信号的常见流程错误，并发布了我们的代码。
| 评论： | 20 页，6 幅图。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20479 [cs.CL] |
| （或 arXiv:2610.20479v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20479 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Harsh Kumar [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 16:52:00 UTC（255 KB）
来源：arXiv cs.CL · arxiv.org