arXiv cs.CL· Shimaa Ibrahim, Mabrouka Bessghaier, Md. Rafiul Biswas, Insaf Elouard, Wajdi Zaghouani·· 11 小时前AI 评分26
超越关键词：阿拉伯语焦虑相关话语的人工标注基准发布
Beyond the Keyword: A Human-Annotated Benchmark for Arabic Anxiety-Related Discourse
AI 导读
研究者发布了一个包含 1000 条阿拉伯语 Twitter/X 帖子的基准，这些帖子以关键词 qalaq（焦虑/担忧）检索并按六种话语功能标注。两名母语标注者独立标注的原始一致率为 51.1%（Cohen's κ = 0.378），复核全部 489 处分歧和 511 处一致后，有 120 条（23.5%）一致标签被修改。
正文 · AI 翻译
摘要：关键词检索返回的是个人焦虑的表达，同时也返回许多其他与焦虑相关语言的使用。我们提出了一个基准，包含 1,000 条以关键词 qalaq（“焦虑/担忧”）检索到的阿拉伯语 Twitter/X 帖子，并针对六种话语功能进行了标注。两名以阿拉伯语为母语的标注者独立标注了每条帖子，原始一致率为 51.1%（Cohen's $\kappa = 0.378$）。随后，我们按照同一指南审查了全部 489 处分歧和全部 511 处一致。审查改变了 120 个已达成一致的标签（23.5%），这表明一致之处与分歧之处同样需要审核。最终标签构成共识参考；在 200 条帖子的随机样本上，另一名标注者与该参考在 60.5% 的帖子上达成一致（$\kappa = 0.517$）。以此参考为准，Fanar-C-2-27B 达到 79.8% 的准确率和宏平均 F1 0.784（$\kappa = 0.749$）。其错误集中在残余类别（占错误的 41.1%；精确率 0.905，召回率 0.447），该类别在执行提示中的定义内部不一致，因此低召回率不能仅归因于模型。社会政治焦虑（27.1%）多于个人情感表达（22.0%）；这些是样本中的分配比例，并非流行率或检索精确率的估计。我们发布了指南、残余子类型方案、固定数据划分、标签来源和评估代码。
| 评论： | 13 页，1 幅图，6 张表 |
| 主题： | 计算与语言（cs.CL）；社会与信息网络（cs.SI） |
| 引用为： | arXiv:2611.07949 [cs.CL] |
| （或 arXiv:2611.07949v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07949 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shimaa Ibrahim [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 12:45:49 UTC（688 KB）
来源：arXiv cs.CL · arxiv.org