arXiv cs.AI· Linan Zhu, Zihao Zhai, Mengfei Xu, Xiao Han, Yuqian Fu, Xiangfan Chen, Zihang Zhang·· 13 小时前AI 评分22
CLEAR：耦合局部证据与情感表征的多模态对话情绪识别框架
CLEAR: Coupling Local Evidence with Affective Representations for Multimodal Emotion Recognition in Conversation
AI 导读
CLEAR 是一个多模态对话情绪识别（ERC）框架，通过使用情感监督 VLM 的连续内部表征替代其生成的标签并训练分类器，缓解情绪理解与标签预测不一致的问题。它还采用样本自适应残差耦合，将目标话语的文本与声学证据动态融入上下文表征，避免局部判别线索被稀释。在 IEMOCAP 和 MELD 上的实验显示其性能具有竞争力，代码已公开。
正文 · AI 翻译
摘要：在视频通话和直播讨论中，识别说话人的情绪有助于找出情感显著的片段，并支持细粒度的视频内容分析。对话中的多模态情感识别（ERC）通过将文本、视觉和声学信息与对话上下文相结合，为识别此类内容中的情绪提供了一种方法。当前主流的情感识别方法主要利用多模态大语言模型（MLLM）的上下文理解能力，通过生成标签来预测情绪。然而，情绪理解与标签预测可能不一致，导致内部情感信息未被充分利用。此外，当当前话语与大量对话历史和多模态信息联合建模时，其局部判别线索可能被稀释，在所得的上下文表示中变得不那么显著。为解决这些局限，我们提出 CLEAR，一个将多模态上下文表示与局部判别线索相耦合的 ERC 框架。为缓解情绪理解与标签预测之间的不匹配，我们使用受情绪监督的视觉语言模型（VLM）的连续内部表示，而非其生成的情绪标签，并基于该表示进一步训练分类器。为增强局部判别线索，我们采用样本自适应残差耦合，将目标话语中的文本和声学证据动态整合到上下文表示中。在 IEMOCAP 和 MELD 上的实验表明，CLEAR 取得了有竞争力的性能，支持了所提方法的有效性。代码可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.18547 [cs.AI] |
| （或 arXiv:2605.18547v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.18547 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zihao Zhai [查看邮箱]
[v1]
2026年5月18日星期一 15:27:10 UTC（1,084 KB）
[v2]
2026年10月27日星期二 12:22:55 UTC（2,082 KB）
来源：arXiv cs.AI · arxiv.org