arXiv cs.CL· Faria Naznin, Md Touhidur Rahman, Shahran Rahman Alve·· 13 小时前AI 评分20
HateSense 框架复测：层级分类与情感特征对仇恨言论检测效果有限
HateSense: Hierarchical Sentiment Analysis Framework for Hate Speech Detection: Implementing Binary and Multiclass Classification Strategy
AI 导读
研究团队在 Davidson（24,783 条推文）和 HateXplain（19,229 条帖子）两个公开基准上复测其基于 Transformer 的 HateSense 框架。
正文 · AI 翻译
摘要：仇恨言论检测器必须将仇恨性帖子与更为常见的冒犯性但非仇恨性帖子区分开来，为此两种流行的思路是分层（由粗到细）分类和情感特征。我们重新审视了此前基于 transformer 的框架，该框架结合了这两种思路，并在两个公开基准（Davidson 等，24,783 条推文；HateXplain，19,229 条帖子）上通过五项随机划分、基于验证的调参和配对 bootstrap 检验，对每个组件进行了受控研究。在使用基于词和字符 n-gram 的线性模型时，我们框架中采用的先主导类分层策略相对于扁平分类器使 macro-F1 降低了 1.1-1.5 个百分点（p <= 0.007），而加入 VADER 情感特征使 Davidson macro-F1 的变化最多为 0.6 个百分点，在类加权设置下从未显著。类加权训练是唯一具有较大效果的干预（macro-F1 提升 +2.0 至 +3.5，仇恨类 F1 提升 +5.9 至 +9.1），而情感无法区分这两个滥用类别，因为仇恨性推文和冒犯性推文几乎同样负面（VADER compound 均值 -0.35 对 -0.29）。跨数据集迁移将 macro-F1 降至 43-53，而一个被重新使用的贬损词使逻辑回归检测器的错误仇恨率翻倍，表明域内分数高估了真实世界的可靠性。
| 评论： | 10 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2411.05819 [cs.CL] |
| （或 arXiv:2411.05819v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2411.05819 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shahran Rahman Alve [查看邮箱]
[v1]
2024 年 11 月 3 日周日 04:11:33 UTC（471 KB）
[v2]
2026 年 10 月 27 日周二 14:21:12 UTC（84 KB）
来源：arXiv cs.CL · arxiv.org