arXiv cs.CL· Sneha Oram, Ojaswita Bhushan, Tejomay Kishor Padole, Suyash P. Awate, Pushpak Bhattacharyya·· 2 天前AI 评分22
大语言模型在情感对话语境中的情感一致性分析
Towards Emotion Consistency Analysis of Large Language Models in Emotional Conversational Contexts
AI 导读
研究将 LLM 生成的文本作为查询回传给同一模型，用三种强度递增的虚假预设查询，在极端与中等情感两个维度上评估 Claude-3.5-haiku、GPT4o-mini 和 Mistral-7B 的自我一致性。结果显示三个模型表现均低于平均水平，易受查询中错误信念影响，中等情感内容下尤为明显；基于注意力分数的分析还显示模型优先级从评估转向生成。
正文 · AI 翻译
摘要：在这项工作中，我们进行了一项分析，以考察大型语言模型（LLM）在情感驱动的对话情境中，就其自身生成的回复所表现出的自洽性。具体而言，LLM 生成的文本被作为查询输入同一模型，随后对其回复进行评估。该评估在极端和中等情感两个维度上通过三个查询进行。这三个查询特别是包含固有错误假设（虚假预设）的虚假主张查询，其强度依次递增。本研究考察了两个商业模型 Claude-3.5-haiku、GPT4o-mini，以及一个中等规模模型 Mistral-7B。我们的发现表明，LLM 表现出低于平均水平的性能，并且仍然容易受到查询中嵌入的虚假信念的影响。这种易感性在中等情感内容中尤为明显。此外，一项基于注意力分数的扩展分析凸显了模型优先级的转变，即从评估转向生成。这些结果对 LLM 在高风险、情感敏感情境中的部署提出了重要考量。
| 评论： | 已被 MultiPsyche Workshop（与 AACL-IJCNLP 2026 联合举办）接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.06476 [cs.CL] |
| （或 arXiv:2605.06476v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06476 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Sneha Oram [查看邮箱]
[v1]
2026年5月7日星期四 16:01:48 UTC（1,242 KB）
[v2]
2026年10月15日星期四 02:23:48 UTC（1,884 KB）
来源：arXiv cs.CL · arxiv.org