arXiv cs.AI· Xinyu Chen, Liangjian Wen, Jiang Duan, Dongkai Wang, Yong Dai, Jiayu Bai, Jianzhuang Liu, Zhen Tian, Guoping Qiu, Zhao Kan·· 10 小时前AI 评分22
MSCR：在多模态学习中联合平衡模态利用率并发现协同信息
MSCR: Jointly Balancing Utilization Across Modalities and Discovering Synergistic Information
AI 导读
研究者提出多模态协同竞争正则化器（MSCR），在融合阶段同时促进模态利用率平衡与协同信息发现。MSCR 包含抑制单模态过度影响的反主导目标，以及鼓励融合预测器超越非协同单模态参考的协同目标，并用自适应门控将正则化集中在更需要协同建模的样本上。
正文 · AI 翻译
摘要：在多模态学习中，模态不平衡往往会让某一模态主导优化过程，使模型无法充分利用跨模态交互。以平衡为导向的方法，如多模态竞争正则化器（MCR），通过在训练过程中缓解这种不平衡而表现良好。然而，这些动态平衡方法主要调整模态贡献，并未考虑不平衡如何影响融合过程中协同信息的形成。协同是多模态优势的主要来源，因为它是仅凭单模态证据无法恢复的预测增益。我们提出了多模态协同竞争正则化器（MSCR），这是一种融合方法，可同时促进模态的均衡利用与协同信息的发现。MSCR 有两个互补的目标。反主导目标抑制过度的单模态影响，为协同信息留出空间；协同目标则鼓励融合预测器优于非协同的单模态参考。自适应门控进一步将正则化集中在需要更强协作建模的样本上。在五个基准上的实验表明，MSCR 相比 MCR 持续提升性能，并增强了协同能力。它提高了条件恢复率，即融合预测在单模态预测器误分类样本上的准确率，也提高了 InterSHAP 归因于跨模态交互的模型输出占比。当融合模块基于 Transformer 时，其条件恢复率的提升依然存在。代码可在 此 https URL 获取。
| Comments: | 已被 NeurIPS 2026 接收 |
| Subjects: | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.24395 [cs.AI] |
| （或 arXiv:2610.24395v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.24395 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Liangjian Wen 博士 [查看邮箱]
[v1]
2026年10月17日星期六 02:54:30 UTC（1,590 KB）
[v2]
2026年11月10日星期二 09:06:09 UTC（1,581 KB）
来源：arXiv cs.AI · arxiv.org