arXiv cs.CL· Ali Hassan Khan, Saad Bin Ather, Muhammad Saif, Maryam Bashir, Hajra Waheed·· 10 小时前AI 评分24
语言模型能感知情绪吗？Qwen2.5 情绪向量研究
Do Language Models Feel the Sentiment? Investigating Emotion Vectors
AI 导读
研究在 Qwen2.5-0.5B-Instruct 和 Qwen2.5-3B-Instruct 上考察从 GoEmotions 提取的八个情绪方向，纯情绪探针在二元 TweetEval 上分别达到 88.66% 和 90.70% 准确率。
正文 · AI 翻译
摘要：情感向量是语言模型内部表示中与情感概念相关联的方向。先前的研究表明，这些向量可以影响模型行为，但它们在情感分类中的作用仍不明确。本研究考察了 Qwen2.5-0.5B-Instruct 和 Qwen2.5-3B-Instruct 中的情感方向。从 GoEmotions 中提取的八个方向通过情感探测、激活干预和有监督校正进行了评估。仅使用情感方向的探针在二分类 TweetEval 上分别达到 88.66% 和 90.70% 的准确率。在探索性匹配消融实验中，对于 0.5B 和 3B 模型，原始情感空间移除导致的准确率损失分别比匹配的各向同性随机子空间移除多 2.39 和 1.10 个百分点。在八项比较中经 Holm 校正后，TweetEval 的全部四项原始效应和去噪效应均显著。一项探索性的 SST-2 扩展实验显示出较小的原始超额损失，分别为 0.66 和 0.57 个百分点，且经 Holm 校正后无效应保持显著。冻结的情感校正分类器还在 20,000 条 Amazon Polarity 评论上进行了测试。基于情感的校正相比未校正的 Qwen 提高了准确率，但并未持续优于仅基于间隔的基线。这些结果区分了模型表示中可用的情感信息、改变这些表示所带来的影响，以及它们对分类的实际价值。这些结果并未确立一种独特的情感机制。
| 评论： | 16 页，3 幅图，11 张表。已被 ExplAI-2026：第二届面向可持续发展目标的先进人工智能可解释性与伦理研讨会接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13744 [cs.CL] |
| （或 arXiv:2611.13744v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13744 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Saad Bin Ather [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 08:45:50 UTC（793 KB）
来源：arXiv cs.CL · arxiv.org