arXiv cs.AI· Jia Li, Yichao He, Yangchen Yu, Qiankun Li, Xinyi Li, Baiyi Ye, Zhenzhen Hu, Richang Hong, Erik Cambria·· 9 天前AI 评分24
从表层到深层：多模态情感理解中的认知评价推理
From Surface to Depth: Towards Cognitive Appraisal Reasoning in Multimodal Emotion Understanding
AI 导读
研究者提出将多模态情感理解从感知推进到认知评价的新范式，并发布 CogEmo-40K 指令微调数据集、紧凑稀疏 MLLM CogEmo-MoE 及 CogEmo-Bench 基准。
正文 · AI 翻译
摘要：近期多模态大语言模型（MLLMs）越来越多地将可解释推理纳入情感理解。然而，主要基于可观察情感线索的推理可能将情感理解简化为表层的线索—标签关联，从而引发“聪明汉斯效应”。当情感线索是隐含的、跨模态冲突的、语言上具有误导性的，或被冗余细节所掩盖时，这类捷径便不再可靠。相比之下，人类情感是由个体如何解读和评价可观察线索之外的相关事件所塑造的。受情感评价理论启发，我们将多模态情感理解表述为从感知到认知评价的递进过程，并引入一个数据集、一个模型和一个基准来支持这一新范式。CogEmo-40K 是一个大规模指令微调数据集，通过从感知到评价的流程构建，以激发跨情感背后六个认知评价维度的、有证据支撑的推理。CogEmo-MoE 是一个紧凑的稀疏 MLLM，引入交错 MoE 模块以实现评价特定的适配，从而以远小于典型情感 MLLM 的规模实现有效的评价推理。CogEmo-Bench 引入评价证据质量分数（AEQS），以评估跨六个互补评价维度的认知—情感理解，解决了传统情感指标只评估预测出什么情感、而不评估其为何产生的局限。大量实验表明，我们的范式不仅在 CogEmo-Bench 上领先，还展现出强大的跨域泛化能力。我们的发现表明，从感知到评价的推理可以超越表层的线索—标签关联，迈向更可靠的多模态情感理解，并使 MLLM 与人类之间实现更接近的认知对齐。
| 评论： | 34 页，10 幅图，项目页面：this https URL |
| 主题： | 多媒体（cs.MM）；人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.11918 [cs.MM] |
| （或 arXiv:2610.11918v1 [cs.MM] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11918 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Jia Li [查看邮箱]
[v1]
2026年10月8日星期四 13:14:39 UTC（3,715 KB）
来源：arXiv cs.AI · arxiv.org