arXiv cs.CL· Gaurab Baral, Mimansak Nepal, Grishma Basnet·· 3 天前AI 评分20
NEPSEE：尼泊尔语情感分析的双标注基准
NEPSEE: A Double-Annotated Benchmark for Nepali Sentiment Analysis
AI 导读
研究者构建了尼泊尔语情感分析基准 NEPSEE，由两位标注者盲标尼泊尔公众人物推文的 5,614 句，仅保留极性一致的 3,189 句。
正文 · AI 翻译
摘要：许多情感数据集对每个条目只使用一名标注者，因此测试标签体现的是该人的标注惯例。我们基于两名标注者构建了一个尼泊尔语基准，他们对相同的句子进行了盲标注。他们以五级量表标注了来自尼泊尔公众人物推文的 5,614 个句子。我们只保留两人给出相同极性判断的 3,189 个句子。在三分类基准上，使用固定分词器的 NepBERTa 取得 0.877 的宏 F1，IndicBERTv2 为 0.867。三个商用大语言模型（LLM）零样本取得 0.882 至 0.896，这些差异不显著。在五级量表上，766 个句子有两个相邻标签，例如 Pos 和 SPos。我们接受两个标签并同时基于两者训练。在该任务上，Claude Opus 5.5 以 0.10 至 0.12 的宏 F1 优势胜过最佳编码器。分词器审计带来了第二个结果。三个尼泊尔语 BERT 模型的默认分词器会删除非间距天城文元音符号和 virama。当我们恢复这些符号后，NepBERTa 的宏 F1 提高了 0.084，但在一个基于剥离文本预训练的模型上下降了 0.095。
| 评论： | 1 张图、4 张表和 6 页 |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.19190 [cs.CL] |
| （或 arXiv:2610.19190v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19190 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Gaurab Baral [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 20:54:04 UTC（40 KB）
来源：arXiv cs.CL · arxiv.org