arXiv cs.AI· Muhammad Shahid Iqbal Malik·· 3 天前AI 评分18
面向 Nastaliq 乌尔都语攻击性内容检测的可解释系统：语料构建、Transformer 基准测试与词级归因
An Explainable System for Offensive Content Detection in Nastaliq Urdu: Corpus Curation, Transformer Benchmarking, and Word-Level Attribution
AI 导读
该研究公开了 7604 条 Nastaliq 乌尔都语 Facebook 评论语料，并在统一网格搜索协议下微调四种乌尔都语 Transformer，与十二个特征分类器基线对比。最佳配置 MuRIL 达到 87.05% 准确率和 87.06% macro F1，较最强基线提升 5.52 个百分点。词级 SHAP 归因显示，归因质量集中于高频侮辱词，但也延伸至句法中性虚词和源页面特有的政治词汇。
正文 · AI 翻译
摘要：自动化审核系统已大规模部署，但它们对受其决策影响的用户和审核员而言仍不透明，且其覆盖范围几乎完全局限于英语。对于以 Nastaliq 字体书写的乌尔都语，尚不存在此类系统，而构建该系统所需的标注资源主要来自 Twitter/X，其字符限制约束了用户的书写方式。可解释性受到的关注很少，因此尚不清楚此类模型实际学到了什么。本研究分三步弥补这些空白。首先，我们整理并公开发布了一个包含 7604 条 Nastaliq 乌尔都语 Facebook 评论的语料库，通过纠正文本层面的不一致并重新审查原始标签来扩展此前的语料库。其次，我们在统一的网格搜索协议下微调了四个支持乌尔都语的 transformer，并在相同的数据划分上与十二个特征分类器基线进行比较。最佳配置——印度语言多语言表示（MuRIL）——达到 87.05% 的准确率和 87.06% 的宏 F1，比最强基线高出 5.52 个百分点，这一差距超过了测试准确率上的 95% 置信区间；两个领先的 transformer 之间的差异小于测试集所能分辨的程度，且性能在五种优化器下保持稳定。第三，我们计算了适配从右到左渲染的词级 SHAP 归因。归因质量集中在高频侮辱词上，但也延伸到句法上中性的功能词以及源页面特有的政治词汇，这表明总体性能可能部分依赖于词汇和主题规律，而非对冒犯性的可泛化表示。
| 评论： | 15 幅图，15 张表 |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15795 [cs.CL] |
| （或 arXiv:2610.15795v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15795 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Muhammad Shahid Iqbal Malik 博士 [查看电子邮件]
[v1]
2026 年 10 月 11 日星期日 17:33:09 UTC（1,099 KB）
来源：arXiv cs.AI · arxiv.org