arXiv cs.CL· Viktoriia Makovska, Tetiana Zakharchenko, Oleksandra Ostafiichuk·· 10 小时前AI 评分26
WarBias：评估 LLM 对境内流离失所者与退伍军人刻板印象的乌克兰语-英语双语基准
WarBias: A Bilingual LLM Benchmark of Stereotypes About Internally Displaced People and Veterans
AI 导读
WarBias 是一个乌克兰语-英语双语基准，用于评估 LLM 对退伍军人和境内流离失所者（IDP）的刻板印象，包含 1,007 组“刻板印象-反刻板印象-无关”句子三元组及每种语言 240 道多选题。在六款模型的基线评测中，四款对至少一个群体的乌克兰语句子表现出刻板印象偏好，对 IDP 尤为明显，而英语得分大多均衡。该基准还提供成对的遗忘/保留材料，可用于基于遗忘的偏见缓解。
正文 · AI 翻译
摘要：本文包含关于退伍军人和流离失所者的刻板印象示例，这些内容可能具有冒犯性或令人不适。语言模型的社会偏见基准通常考察性别、种族和宗教等类别，这些类别往往取自受法律保护的特征清单。退伍军人和境内流离失所者（IDP）不在这些清单之列，而关于他们的刻板印象可能损害其获得就业、住房和社会参与的机会，却仍基本缺席于语言模型评估。我们推出 WarBias，一个关于这两个群体刻板印象的乌克兰语-英语基准。WarBias 基于一份包含 120 条刻板印象主张的分类体系构建，该体系以研究和监测报告为依据，每种语言包含 1,007 个刻板印象-反刻板印象-无关句子三元组和 240 道多项选择题。乌克兰语三元组由在盲测人工试点中选出的一个乌克兰语语言模型生成。在标注队列中，每个三元组至少由两名独立标注者审核。作者根据审核意见修订了条目，最终发布版本经机器翻译为英语。每条主张均附有人工严重程度评级。在对六个模型的基线评估中，有四个模型对至少一个群体的乌克兰语刻板印象句子表现出偏好，其中对 IDP 的偏好最强，而英语得分大多较为均衡。WarBias 支持对刻板印象偏好和情境敏感判断进行互补评估，并为基于遗忘的偏见缓解提供配对的遗忘/保留材料。我们记录了该基准的构建过程、预期用途和局限性，并将其构建方法作为模板，供其他受冲突影响的社会构建类似基准。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.11284 [cs.CL] |
| （或 arXiv:2611.11284v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.11284 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Viktoriia Makovska [查看电子邮件]
[v1]
2026年11月8日星期日 10:12:11 UTC（1,336 KB）
[v2]
2026年11月10日星期二 10:05:09 UTC（1,336 KB）
来源：arXiv cs.CL · arxiv.org