跳到正文
arXiv cs.CY· Alaa Bazaid, Arkaitz Zubiaga·· 23 小时前AI 评分31

MuDAS 数据集揭示:多数标签掩盖了标注者分歧与模型错误——多方言阿拉伯语性别歧视检测研究

What Majority Labels Hide: Annotator Disagreement and Model Errors in Multi-Dialect Arabic Sexism Detection

AI 导读

研究者构建 MuDAS 数据集,收录沙特、埃及、摩洛哥三种阿拉伯语方言的 YouTube 评论,每条由 3 名母语者独立标注并保留个体判断,用于评估阿拉伯语编码器、GPT-5.6 Terra 及四个阿拉伯语大模型。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:性别歧视的判断具有主观性,且可能因群体而异,然而性别歧视检测数据集通常将标注者的判断简化为单一的多数标签,从而掩盖了分歧以及模型在有争议案例上的表现。我们推出 MuDAS,这是一个包含沙特、埃及和摩洛哥阿拉伯语 YouTube 评论的数据集,每条评论均由其所属方言的三位母语者标注,并保留了个体标注。我们用它来评估以硬标签、软标签和视角主义目标微调的阿拉伯语编码器、GPT-5.6 Terra,以及四个以阿拉伯语为中心的大语言模型。模型在标注者存在分歧的评论上出错更频繁。尽管 Macro-F1 分数相对接近,GPT-5.6 Terra 与微调编码器表现出截然不同的错误模式:GPT-5.6 Terra 即使采用标注者对性别歧视的定义,也会过度分类与性别相关的内容,例如关于端庄的宗教建议,而编码器则漏掉隐性和规定性的性别歧视。以阿拉伯语为中心的模型也过度预测性别歧视,且表现仍低于编码器。分歧感知学习保持了 Macro-F1,但软标签以牺牲一致评论为代价,改善了对有争议评论与标注者的一致性,且两种范式都无法可靠地识别有争议的评论。埃及阿拉伯语上的较低表现(在大语言模型中最为明显)无法完全由所考察的测试集构成和方言性度量来解释。因此,多数标签分数可能掩盖对内容审核至关重要的截然不同的错误模式。
评论: 36 页,6 幅图。投稿至 Online Social Networks and Media。数据集:此 https URL。内容警告:包含性别歧视和冒犯性语言的示例
主题: 计算与语言(cs.CL);计算机与社会(cs.CY);社会与信息网络(cs.SI)
引用为: arXiv:2611.24383 [cs.CL]
  (或 arXiv:2611.24383v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24383

arXiv 颁发的 DOI 通过 DataCite(待注册)

提交历史

来自:Alaa Bazaid [查看电子邮件]
[v1] 2026 年 11 月 18 日星期三 13:14:00 UTC(1,076 KB)

来源:arXiv cs.CY · arxiv.org