arXiv cs.CL· Vera Neplenbroek, Arianna Bisazza, Raquel Fern\'andez·· 2 天前AI 评分27
MBBQ：面向生成式 LLM 刻板印象跨语言比较的数据集
MBBQ: A Dataset for Cross-Lingual Comparison of Stereotypes in Generative LLMs
AI 导读
研究者发布 MBBQ（Multilingual Bias Benchmark for Question-answering），将英文 BBQ 数据集扩展至荷兰语、西班牙语和土耳其语，并配套平行控制数据集以独立测量问答任务准确率。
正文 · AI 翻译
摘要：生成式大型语言模型（LLMs）已被证明会表现出有害的偏见和刻板印象。虽然安全微调通常以英语进行（如果有的话），但这些模型正被许多不同语言的使用者所使用。已有证据表明，这些模型在不同语言间的表现并不一致，并且它们会根据用户的人口统计特征进行歧视。受此启发，我们研究了 LLMs 所表现出的社会刻板印象是否会因提示它们所使用的语言不同而有所差异，同时控制文化差异和任务准确率。为此，我们提出了 MBBQ（多语言问答偏见基准），这是对英语 BBQ 数据集经过精心整理的版本，扩展到了荷兰语、西班牙语和土耳其语，用于衡量这些语言中普遍存在的刻板印象。我们进一步用一个平行对照数据集来补充 MBBQ，以独立于偏见地衡量问答任务上的表现。我们基于若干开源和专有 LLMs 的结果证实，即使控制了文化差异，一些非英语语言也比英语更容易受到偏见影响。此外，我们观察到，除了最准确的模型外，所有模型在偏见行为上都存在显著的跨语言差异。随着 MBBQ 的发布，我们希望鼓励对多语言环境中的偏见开展进一步研究。数据集和代码可在 此 https URL 获取。
| 评论： | 已被 COLM 2024 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2406.07243 [cs.CL] |
| （或 arXiv:2406.07243v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2406.07243 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Vera Neplenbroek [查看电子邮件]
[v1]
2024年6月11日星期二 13:23:14 UTC（550 KB）
[v2]
2024年6月18日星期二 15:33:33 UTC（550 KB）
[v3]
2024年7月17日星期三 08:49:22 UTC（560 KB）
[v4]
2026年10月15日星期四 13:59:12 UTC（561 KB）
来源：arXiv cs.CL · arxiv.org