arXiv cs.CL· Sumit Anthony Gomes, Yasin Rahman, Taeeba Tasnia, Faiza Nooren Suhita·· 12 小时前AI 评分20
BanglaBBQ：面向孟加拉国语境问答的偏见基准
BanglaBBQ: A Bias Benchmark for Question Answering in the Bangladeshi Context
AI 导读
BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准，沿用 BBQ 框架并保留 140 个模板（76 个直接翻译、64 个本地化改写），另新增婚姻状况、年龄与政治认知、地域出身、教育背景、心理健康五类共 466 个原创模板，其中 372 个通过母语标注者审核。
正文 · AI 翻译
摘要：本文提出 BanglaBBQ，一个问答偏见基准，旨在捕捉植根于孟加拉国语境、以孟加拉语和英语呈现的刻板印象。继 KoBBQ 和 PakBBQ 之后，BanglaBBQ 对原始问答偏见基准（BBQ）进行了改编，将其模板分为三组：直接翻译（DT）、修改以使目标群体或语境与孟加拉国对齐（TM），以及在被认为不适合孟加拉国语境时予以删除（SR）。该过程在六个类别中保留了 140 个模板，包括 76 个 DT 和 64 个 TM 模板。随后新增了五个基于孟加拉国社会常见刻板印象的新撰写（NA）类别：婚姻状况、年龄与政治观念、地域出身、教育背景和心理健康状况。孟加拉国本土标注者对所有 466 个新撰写模板进行了评判，其中 372 个被保留，因为严格多数的英语标注者识别出了预期目标，并认为该态度的普遍程度足够高。每个新撰写的模板都关联到一个有据可查的来源及其逐字引文。每个被评估的模板还配有其消歧语境的反刻板印象版本。该数据集使用两个开放权重模型（Qwen3-4B 和 Qwen3-8B）和两个闭源模型（GPT-4.1-mini 和 Gemini 2.5 Flash）进行了评估。当语境模糊时，这四个模型在两种语言中都倾向于刻板印象中的人物，且语言的影响因模型而异，因此英语结果无法预测孟加拉语中的行为。在改编后的 BBQ 模板上，当语境与刻板印象相矛盾时，两个 Qwen3 模型的准确率也低于语境证实刻板印象时。在新撰写的模板上，闭源模型几乎完美地遵循反刻板印象证据，且四个模型在标注者验证过的模板上都比在被其拒绝的模板上表现出更多偏见。
| 评论： | 13 页。数据和代码：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.24764 [cs.CL] |
| （或 arXiv:2610.24764v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.24764 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yasin Rahman [查看电子邮件]
[v1]
2026 年 10 月 17 日星期六 16:12:44 UTC（35 KB）
[v2]
2026 年 10 月 27 日星期二 15:35:49 UTC（35 KB）
来源：arXiv cs.CL · arxiv.org