arXiv cs.AI· Chuangxin Zhao, Meimei Zhang, Canran Xiao, Jiachen Luo, Jiajun He, Kaijie Chen, Huy Phan, Tomoki Toda, Bi\"orn W. Schuller·· 12 小时前AI 评分29
MERP：面向鲁棒多模态多标签情感识别的潜在瓶颈框架
MERP: A Latent-Bottleneck Framework for Robust Multi-Modal Multi-Label Emotion Recognition
AI 导读
研究者提出多模态情感识别框架 MERP，将联合序列映射为固定大小的潜在表示库，使重复推理与原始输入长度无关，并通过重建对齐潜在推理前后的标签特定证据。
正文 · AI 翻译
摘要：多模态多标签情感识别对情感感知系统很重要，但用完整文本、视觉和声学流训练的模型在部署时若某些流不可用，性能往往会急剧下降。我们通过学习一种紧凑表示来弥补这一训练-测试差距，该表示能从任意可用模态子集中保留情感特定证据。我们提出多模态情感识别 Perceiver（MERP），它将联合序列映射到固定大小的潜在库，从而使重复推理与原始输入长度无关；它在潜在推理前后提取标签特定证据，并通过重建对齐这两个层次。MERP 进一步使用正类和负类原型、训练期间带频率整形扰动的噪声门控特征增强器，以及置信度感知的类级融合，以增强可分性、降低对缺失输入的敏感性并组合互补预测器。在测试时 20% 随机模态丢弃下，MERP 在 CMU-MOSEI 上取得 0.563 的 micro-F1 分数，在 M3ED 上取得 0.780，分别超过最强评估基线 0.004 和 0.005；在严重的 CMU-MOSEI 仅音频设置中，它保持 0.473 micro-F1，而 LDDU 为 0.022。这些结果表明，固定潜在推理为稳健的多模态情感识别提供了一条实用、可测试的路径，且无需在训练期间提供缺失模态示例。代码可在 此 https URL 获取。
| 主题： | 人工智能（cs.AI）；声音（cs.SD） |
| 引用为： | arXiv:2610.29430 [cs.AI] |
| （或 arXiv:2610.29430v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.29430 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chuangxin Zhao [查看电子邮件]
[v1]
2026年10月21日星期三 08:54:49 UTC（3,145 KB）
来源：arXiv cs.AI · arxiv.org