arXiv cs.AI· Liangwei Nathan Zheng, Wenhao Liang, Wei Emma Zhang, Lin Yue, Weitong Chen·· 13 小时前AI 评分20
综述：用混合专家（MoE）应对多模态学习挑战
Tackling Multimodal Learning Challenges with Mixture-of-Expert: A Survey
AI 导读
一篇被 IJCAI 2026 接收的综述系统梳理了 MoE 如何解决多模态学习挑战，从三个视角展开：作为高效多模态引擎，将计算成本与参数增长解耦并通过选择性专家激活缓解模态冗余；作为多模态表示学习器，整合多意见专家知识以丰富对齐与交互表示；作为多模态适配器，以模块化机制应对模态不平衡与模态缺失。文章同时指出可解释路由、专家通信、模态融合与终身多模态学习等关键研究空白。
正文 · AI 翻译
摘要：混合专家（MoE）为多模态学习提供了一个天然兼容且可扩展的框架，在多种模态和任务上展现出很强的适应性。尽管其成果日益增多，但仍缺乏对解决多模态挑战的 MoE 方法的全面系统综述。现有综述往往从方法分类的角度分别评估多模态学习或 MoE，忽视了二者之间独特的相互作用。本综述填补了这一空白，回答一个核心问题：\textit{MoE 如何有效解决多模态挑战？}我们从三个关键视角展开：(1) \textbf{MoE 作为高效多模态引擎：}通过将计算成本与参数增长解耦，并借助选择性专家激活缓解模态冗余，实现可扩展的多模态建模；(2) \textbf{MoE 作为多模态表示学习器：}整合互补的多意见专家知识，以丰富对齐与交互表示；(3) \textbf{MoE 作为多模态适配器：}提供模块化且灵活的机制，对模态不平衡和模态缺失等不完美数据场景进行建模。通过广泛的文献回顾，我们识别出关键研究空白，包括可解释路由、专家通信、模态集成和终身多模态学习。我们将本综述定位为未来面向可解释且可持续的多模态混合专家系统研究的基础。
| 评论： | 本综述已被 IJCAI 2026 接收。结果于 2026 年 4 月 30 日公布。本次最新替换版本是此前提交至 ACM Computing Survey 进行同行评审的综述的扩展版本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.27431 [cs.LG] |
| （或本版本使用 arXiv:2605.27431v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.27431 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Liangwei Zheng [查看邮箱]
[v1]
2026 年 5 月 22 日星期五 05:01:21 UTC（232 KB）
[v2]
2026 年 10 月 28 日星期三 05:31:01 UTC（547 KB）
来源：arXiv cs.AI · arxiv.org