arXiv cs.CL· Guowei Zhong, Junjie Li, Huaiyu Zhu, Ruohong Huan, Yun Pan·· 12 小时前AI 评分18
不确定性引导的多模态共识（UMC）用于多模态情感分析
Uncertainty-Guided Multimodal Consensus for Multimodal Sentiment Analysis
AI 导读
研究者提出不确定性引导的多模态共识方法 UMC，先恢复连续的单模态伪标签，再在模态间形成可靠性感知的共识。其核心包含连续原型引导标签恢复（CPLR）与可靠性与精度共识（RPC）两部分，后者用闭式共识求解器结合预测统计与跨模态分歧估计样本级模态可靠性。在四个公开 MSA 数据集上的实验显示该方法有效且优于对比模型。
正文 · AI 翻译
摘要：多模态情感分析（MSA）近年来取得了相当大的进展。现有的 MSA 方法主要学习共享的多模态表示，或用共同的多模态标签训练单模态预测器。然而，将共享标签分配给每个模态可能会掩盖模态特有的情感，而直接融合可能会在模态不一致时过度强调不可靠的预测。为解决这些问题，我们提出了不确定性引导的多模态共识（UMC），它首先恢复连续的单模态伪标签，然后在各模态之间形成可靠性感知的共识。我们的方法由两个关键部分组成：i）连续原型引导的标签恢复（CPLR），它将异方差预测与有序情感原型相结合，并利用置信度和标签冲突来细化连续的单模态伪标签；ii）可靠性与精度共识（RPC），它从预测统计量和跨模态分歧中估计依赖于样本的模态可靠性，并通过闭式共识求解器将其与预测精度相结合。在四个公开可用的 MSA 数据集上进行的大量实验证明了我们所提出模型的有效性和优越性。
| 评论： | 提交至 WWW2027 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG）；多媒体（cs.MM） |
| 引用为： | arXiv:2510.20256 [cs.CV] |
| （或 arXiv:2510.20256v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2510.20256 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guowei Zhong [查看邮箱]
[v1]
2025年10月23日 星期四 06:25:10 UTC（1,208 KB）
[v2]
2026年10月27日 星期二 06:14:16 UTC（370 KB）
来源：arXiv cs.CL · arxiv.org