arXiv cs.AI· Liangjian Wen, Qun Dai, Jiang Duan, Yong Dai, Jianzhuang Liu, Dongkai Wang, Jun Wang, Fuyuan Cao, Zenglin Xu, Zhao Kang·· 11 小时前AI 评分20
InfMasking：面向协同多模态学习的统一变分框架
InfMasking: A Unified Variational Framework for Synergistic Multimodal Learning
AI 导读
InfMasking 是一个基于 Infinite Masking 的统一多模态学习框架，在融合前随机掩码各模态特征，并要求所有掩码后的融合表示与参考目标保持一致，从而避免融合模块依赖主导模态或共享信息。
正文 · AI 翻译
摘要：多模态模型被期望利用协同信息，即仅在同时观察到多种模态时才可获得的信息。然而在实践中，融合模块可能通过依赖主导模态或模态间共享的信息来拟合训练目标，而模态间的协同作用往往未被利用。我们提出 InfMasking，一个基于无限掩码（Infinite Masking）的统一多模态学习框架。在融合之前，InfMasking 随机掩码每个模态的特征；每个采样得到的掩码都会产生不同的跨模态证据部分组合，以及对应模态交互的融合表示。所有被掩码的融合表示都要求与一个参考目标保持一致：在无监督训练时，该目标为未掩码的融合视图；在有标签时，则为任务标签的类别代理。在多样化的部分组合之间保持这种一致性，可以抑制对主导模态或仅对共享信息的依赖，并驱动融合模块学习在部分观测下仍然有意义的跨模态交互模式。由于目标是对无限多个掩码的期望，我们将被掩码的融合表示建模为高斯分布，并优化闭式变分界，其总体矩差距在该模型下由掩码诱导的协方差控制。在所评估的基准上，InfMasking 提升了预测性能，并在学习到的模态特定表示中产生了更高的任务标签协同平均 PID 估计，同时在训练后的预测器中具有更高的 InterSHAP 交互归因。代码可在 this https URL 获取。
| Comments: | 已被 IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 接收发表。16 页；补充材料作为附件提供。代码：this https URL |
| Subjects: | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；机器学习 (cs.LG) |
| Cite as: | arXiv:2611.07702 [cs.CV] |
| (或 arXiv:2611.07702v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.07702 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Liangjian Wen 博士 [查看邮箱]
[v1]
2026年11月5日 星期四 09:24:22 UTC (7,484 KB)
来源：arXiv cs.AI · arxiv.org