跳到正文
arXiv cs.CL· F\'abio A. S. Passos, P\'ericles B. C. Miranda, Ana Paula Cavalcanti·· 10 小时前AI 评分26

MISO-BR:巴西葡萄牙语厌女内容检测开放语料库

MISO-BR: An Open Corpus for Misogyny Detection in Brazilian Portuguese

AI 导读

MISO-BR 是一个开放、有文档和版本管理的巴西葡萄牙语厌女检测语料库,含 896 条均衡社交媒体文本,并公开构建协议与可复现基线。语料结合 X 平台的词典与目标引导抓取、OLID-BR 导入条目及大语言模型初筛,三名标注者在 816 条上达到 Fleiss' kappa 0.788。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:厌女症是针对巴西用户最常见的网络仇恨言论形式之一,然而专门针对巴西葡萄牙语的开放且可审计的资源仍然稀缺。我们推出 MISO-BR,这是一个开放、有文档记录且带版本管理的语料库,包含 896 条类别均衡的社交媒体文本,标注了二元厌女标签,并随附其构建协议和可复现的基线。该语料库结合了从 X 上基于词典和目标引导的抓取、从 OLID-BR 导入的条目、一个已公开提示词和解码参数的大语言模型分诊阶段,以及由三名标注者依据书面指南进行的人工标注。在 816 个条目上,标注者间信度达到 Fleiss' kappa 0.788。在单一固定协议下,我们比较了四种经典分类器(多项式朴素贝叶斯和伯努利朴素贝叶斯、线性 SVM 和随机森林)与微调的 BERTimbau Base 和 Large。经典模型的 macro-F1 集中在 0.651 到 0.676 之间,偏向精确率但召回率较低。Transformer 模型达到 0.833 的 macro-F1 和准确率(准确率的 Wilson 95% CI 为 [0.77, 0.88]),差距约为 16 个百分点,而 Base 和 Large 在测试集上无法区分,尽管训练成本相差 2.6 倍。我们认为,该资源的价值与其说在于其头条分数,不如说在于其流程的可审计性,并且我们陈述了用户必须面对的三个局限:人为的类别均衡,我们量化了其在现实患病率下对精确率的影响;来源与标签之间的关联,已发布的来源字段使其可测量;以及词典引导采样和自动分诊所引入的选择偏差。该语料库、标注指南、模型和实验脚本均已公开。
学科: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.14036 [cs.CL]
  (或 arXiv:2611.14036v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.14036

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Pericles Miranda Dr [查看电子邮件]
[v1] 2026年11月10日星期二 13:03:50 UTC(24 KB)

来源:arXiv cs.CL · arxiv.org