arXiv cs.AI· Niyazi Ahmet Metin, Dilara Kek\"ull\"uo\u{g}lu·· 3 天前AI 评分24
SarcasTraps：讽刺对土耳其语仇恨言论检测的影响
SarcasTraps: Effect of Sarcasm on Turkish Hate Speech Detection
AI 导读
研究者构建了 SarcasTraps，一个含 479 条双维度标注（仇恨言论与讽刺）的土耳其语外部测试集，用于分析讽刺对仇恨言论检测的影响。在 BERTurk 和 XLM-RoBERTa 上微调的编码器模型对讽刺性仇恨内容召回率下降，而 GPT-4.1 与 Llama-3.3-70B 零样本推理虽召回率较高，但在讽刺样本上精确率大幅下滑。该数据集因含敏感内容，仅应学术研究请求提供。
正文 · AI 翻译
摘要：标准的仇恨言论检测数据集通常强调显性的有害语言，但定向伤害也可以通过间接方式表达，而不带有明显仇恨性的措辞。讽刺就是这种间接表达形式之一，因为它可以通过虚假赞美、夸张、幽默或表面上的礼貌来传达有害意图。在本文中，我们介绍了 SarcasTraps，这是一个针对性的外部测试集，用于分析讽刺对土耳其语仇恨言论检测的影响。SarcasTraps 包含 479 条条目，按两个维度进行标注：仇恨言论和讽刺。我们在两个现有的土耳其语仇恨言论数据集上使用 BERTurk 和 XLM-RoBERTa 训练分类器，并在 SarcasTraps 上评估它们，严格将其用作外部测试集。我们还在零样本设置下评估了 GPT-4.1 和 Llama-3.3-70B 在 SarcasTraps 上的表现。结果表明，讽刺对仇恨言论检测有显著影响。微调的编码器模型在讽刺性仇恨内容上召回率下降，而零样本 LLM 保持了较高的召回率，但在讽刺性样本上精确率大幅下降。这些发现表明，当涉及讽刺时，微调的仇恨言论检测器和零样本 LLM 都表现不佳，而 SarcasTraps 通过一个针对性的土耳其语测试集为这一挑战提供了定量证据。由于包含敏感和仇恨性语言，SarcasTraps 将在学术研究目的下应请求共享。警告：本文包含来自数据集的示例，其中含有针对群体的冒犯性和仇恨性内容。
| 评论： | 12 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.16957 [cs.CL] |
| （或 arXiv:2610.16957v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.16957 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Dilara Keküllüoğlu [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 15:25:27 UTC（65 KB）
来源：arXiv cs.AI · arxiv.org