arXiv cs.CL· Emily \"Ohman, Anna Koufakou·· 6 天前AI 评分22
同名情绪标签未必等价：GoEmotions、XED 与 BRIGHTER 数据集间的情绪标签差异研究
Fear Is Not Always Fear: Variation in Emotion Label Equivalence Across Datasets
AI 导读
研究测试了 GoEmotions、XED 和 BRIGHTER 共享的五个情绪标签，发现同一批文本上，一个 fear 分类器将 71% 标为恐惧，另一个仅 8%，但两者对文本排序基本一致。
正文 · AI 翻译
摘要：情感分类器通常被应用于其训练数据之外，其假设是诸如恐惧或惊讶这类同名标签在不同资源中含义相同。我们针对 GoEmotions、XED 和 BRIGHTER 共有的五个标签检验了这一假设，在相同输入下以及跨语料库迁移条件下比较模型。在相同的文本上，一个恐惧分类器将 71% 标记为恐惧，而另一个为 8%，但两者在文本排序上大体一致。在 30 项资源-标签比较中，训练标签的流行度解释了这类尺度不匹配的约一半，而拟合截距消除了其中大部分。重新校准无法修复的问题更大：迁移模型总体上损失了 55% 的原始区分能力，分类器之间在排序上的一致性与该损失仅弱相关，而对于惊讶，各资源对哪些文本表达该情感存在分歧。因此，训练资源的选择可能改变结论：在两个外部推文集合上，BRIGHTER 训练和 XED 训练的分类器对哪个集合表现出更多惊讶给出相反答案，即使在秩归一化之后也是如此，且两个方向的区间均不包含零。共享的情感标签名称并不确立一个可互换的测量目标。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12841 [cs.CL] |
| （或 arXiv:2610.12841v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12841 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Emily Ohman [查看电子邮件]
[v1]
2026年10月9日星期五 00:55:54 UTC（476 KB）
来源：arXiv cs.CL · arxiv.org