arXiv cs.AI· Chunlei Meng, Jacqueline J. Pang, Pengbin Feng, Zhenyu Yu, Chun Ouyang, Zhongxue Gan·· 10 天前AI 评分22
MRCF：面向不完整观测的多模态情感分析中重新审视模态可靠性
Rethinking Modality Reliability in Multimodal Sentiment Analysis with Incomplete Observations
AI 导读
针对不完整观测下的多模态情感分析，研究者提出 MRCF（Modality Reliability-Calibrated Framework），显式建模模态可靠性以缓解可靠性失配与可靠性传播偏差。MRCF 包含可靠性感知分支、可靠性引导交互分支和可靠性校准融合模块，在 CMU-MOSI、CMU-MOSEI 和 CH-SIMS 上取得强劲性能。
正文 · AI 翻译
摘要：多模态情感分析（MSA）整合文本、音频和视觉来推断人类情感，然而现实世界中的多模态观测往往是不完整的。现有的面向不完整观测的 MSA 方法主要遵循两种范式。基于重建的方法从已观测模态中恢复缺失信息，而联合表示方法则直接从不完整输入中学习。尽管这些方法有效，但它们通常仅在表示学习或融合设计中隐式地处理模态可靠性，而非对其进行显式建模。我们认为，模态可靠性是不完整观测场景中的核心变量。未能对其显式建模会引发两个相关问题。第一个是可靠性失配，即每个模态所保留的情感证据在不同样本和缺失率下存在差异。第二个是可靠性传播偏差，即来自退化模态的信息可能对跨模态交互和预测性能产生不利影响。为解决这些问题，我们提出了 MRCF，一种面向不完整观测 MSA 的模态可靠性校准框架。MRCF 包含一个可靠性感知分支，从模态内质量线索和跨模态语义一致性中估计样本特定的模态可靠性；一个可靠性引导交互分支，利用估计的分数来调制跨模态信息流；以及一个可靠性校准融合模块，整合可靠性和语义线索以进行最终预测。在 CMU-MOSI、CMU-MOSEI 和 CH-SIMS 上的实验表明，MRCF 在标准不完整观测协议下取得了强劲的性能。进一步的分析提供了证据，表明显式的可靠性建模有助于在交互和融合过程中缓解可靠性失配和可靠性传播偏差。
| 学科： | 人工智能（cs.AI）；多媒体（cs.MM） |
| 引用为： | arXiv:2608.03611 [cs.AI] |
| （或 arXiv:2608.03611v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.03611 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chunlei Meng [查看电子邮件]
[v1]
2026年8月4日星期二 13:02:48 UTC（3,331 KB）
[v2]
2026年8月27日星期四 11:17:58 UTC（3,332 KB）
[v3]
2026年10月6日星期二 07:00:00 UTC（3,332 KB）
来源：arXiv cs.AI · arxiv.org