arXiv cs.CL· Laya Iyer, Sanmi Koyejo, Chen Shani·· 10 小时前AI 评分26
语言模型表征中的情绪压缩现象研究
Compression of Emotion in Language Model Representations
AI 导读
研究在 GoEmotions 数据集上测试七个 LLM，发现其隐藏表征存在"过度压缩"：无监督 KMeans 聚类时最清晰的划分仅将正负情绪分开，粗粒度情绪分组所需的簇数也少于完整的 28 类分类体系。但线性探针仍保留大量细粒度情绪预测信息，说明细粒度情绪信息可被访问，只是无监督几何结构更受粗粒度情感结构主导。
正文 · AI 翻译
摘要：大型语言模型（LLM）已被评估其识别文本中所表达情感以及生成流畅情感语言的能力。然而，仅凭输出预测无法揭示细粒度情感区分在内部是如何组织的。我们在 GoEmotions 上研究了七个 LLM，该数据集是一个英语 Reddit 数据集，标注了 27 个细粒度情感类别以及中性类别。我们将模型预测和情感提示下的最终 token 表示与 28 个 GoEmotions 类别以及更粗粒度的情感家族和情感极性分组进行了比较。
我们发现，相对于细粒度的 GoEmotions 分类体系，存在一致的 $\textit{过度压缩}$ 模式。在测试的 KMeans 协议下，当我们不使用情感标签对其隐藏表示进行聚类时，最清晰的分割是分成两组，这两组在很大程度上将正面情感与负面情感分开。更粗粒度的情感分组也能以比完整的 28 类分类体系更少的聚类数被恢复。然而，线性探针仍保留了大量的细粒度预测信息。这些结果表明，尽管更宽泛的情感结构更强地组织了无监督几何结构，细粒度情感信息仍然可访问。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.08683 [cs.CL] |
| （或 arXiv:2611.08683v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08683 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Laya Iyer [查看电子邮件]
[v1]
2026年11月5日星期四 20:42:47 UTC（1,271 KB）
来源：arXiv cs.CL · arxiv.org