arXiv cs.AI· Ronghao Lin, Honghao Lu, Ruixing Wu, Aolin Xiong, Qinggong Chu, Qiaolin He, Sijie Mai, Haifeng Hu·· 9 天前AI 评分17
MissMAC-Bench：面向鲁棒多模态情感计算缺失模态问题的基准
MissMAC-Bench: Building Solid Benchmark for Missing Modality Issue in Robust Multimodal Affective Computing
AI 导读
MissMAC-Bench 是一个针对多模态情感计算（MAC）中缺失模态问题的综合基准，提出训练时无缺失先验、单一模型同时处理完整与不完整模态两条原则，并在数据集和实例层面整合固定与随机缺失模式的评测协议。该基准在 4 个数据集、3 个语言模型上完成实验验证，代码已开源，论文被 EMNLP 2026 Findings 收录。
正文 · AI 翻译
摘要：当前的多模态情感计算（MAC）系统严重依赖多种模态的完整性来准确理解人类的情感状态。然而，在现实场景中，模态数据的可用性往往是动态且不确定的，由于不完整多模态输入的分布偏移和语义缺陷，导致性能出现大幅波动。这一挑战被称为缺失模态问题，对 MAC 模型的鲁棒性和实际部署构成了关键障碍。为了系统地量化这一问题，我们提出了 \textbf{MissMAC-Bench}，这是一个综合基准，旨在从跨模态协同的角度建立公平统一的评估标准。我们提出了两条指导原则，包括训练期间无缺失先验，以及单一模型能够同时处理完整和不完整的模态场景，从而确保更好的泛化能力。此外，为了弥合学术研究与实际应用之间的差距，我们的基准将评估协议与数据集级和实例级的固定及随机缺失模式相结合。在 4 个数据集上对 3 个广泛使用的语言模型进行的大量实验验证了各种 MAC 方法在解决缺失模态问题上的有效性。我们的基准为推进鲁棒 MAC 和促进多媒体数据挖掘的发展提供了坚实的基础。我们的代码发布在 此 https URL 中。
| 评论： | EMNLP 2026 Findings |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2602.00811 [cs.AI] |
| （或使用 arXiv:2602.00811v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2602.00811 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ronghao Lin [查看电子邮件]
[v1]
2026年1月31日星期六 16:39:34 UTC（3,022 KB）
[v2]
2026年10月8日星期四 06:50:35 UTC（5,497 KB）
来源：arXiv cs.AI · arxiv.org