arXiv cs.CL· Wenchang Wang, Yue Song·· 10 小时前AI 评分39
同一句话，不同建构：身份替换理由揭示 LLM 仇恨言论分类器的测量非不变性
Same Sentence, Different Construct: Identity-Swapped Rationales Reveal Measurement Non-Invariance in LLM Hate Speech Classifiers
AI 导读
研究用 421 个仅替换身份词的模板测试四个 LLM 仇恨言论分类器，四者平衡准确率均超 0.95，但其中两个对涉及女性的仇恨言论漏报率比其他群体分别高出 8.3 和 4.4 个百分点。
正文 · AI 翻译
摘要：大语言模型越来越多地被用作测量具有社会后果的构念（如仇恨言论）的工具，并且通常通过其与人工标注的总体一致性来进行验证。一个有效的测量工具还必须对它所测量的每一个群体应用相同的构念。我们使用 421 个 \hc{} 模板来检验这一要求，这些模板对七个受保护群体以完全相同的方式实例化，因此只有身份词发生变化。四个 LLM 分类器各自都超过 0.95 的平衡准确率，然而在相同模板内，其中两个分类器对关于女性的仇恨言论的漏检率明显高于对其他群体的相同言论（超额假阴性率分别为 8.3 和 4.4 个百分点），这一差距最早于 2021 年在微调分类器上被报道。我们展示了构念是如何发生偏移的。通过比较每个模板内的推理依据，我们发现模型对其他群体援引受保护群体身份，却将关于女性的相同言论重新解释为个人厌恶或针对某个个体，在某个模型的 30 个漏检模板中有 22 个如此。加入基准自身的定义（其中将性别列为受保护特征）并不能缩小这一差距，对比依然存在。相比之下，表面上的假阳性差异在身份控制下基本消失，并可追溯到仅对某些群体存在的被重新使用的侮辱性词汇。所有模型共有的错误集中在模型定义与基准定义出现分歧之处，而成对反事实准确率在端点准确率之外几乎没有额外贡献。我们认为，验证 LLM 测量需要采用身份控制的测量不变性检验，同时考察决策以及模型为这些决策所陈述的标准。
| 评论： | 18 页，6 幅图 |
| 主题： | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2611.02491 [cs.CL] |
| （或 arXiv:2611.02491v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02491 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenchang Wang [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 04:06:11 UTC（170 KB）
来源：arXiv cs.CL · arxiv.org