arXiv cs.AI· Liangjian Wen, Linjie Li, Jiang Duan, Yong Dai, Jianzhuang Liu, Zhao Kang·· 3 天前AI 评分22
依赖、压缩与协同：多模态学习的统一信息论视角
Dependency, Compression, and Synergy: A Unified Information-Theoretic View of Multimodal Learning
AI 导读
一篇综述用信息论统一视角串联多模态学习，将互信息（MI）、信息瓶颈（IB）与部分信息分解（PID）视为逐步细化的信息处理层次，分别刻画模态间依赖、任务导向的信息压缩保留，以及冗余、独有与协同信息的分解。
正文 · AI 翻译
摘要：多模态基础模型的最新进展，使人们愈发需要理解不同模态之间如何共享、保留和互补信息。互信息（MI）、信息瓶颈（IB）和部分信息分解（PID）提供了互补的视角，但现有研究往往将它们视为彼此孤立的工具。本综述提出一种信息论视角，将这些原理联系起来，视为多模态信息处理中逐步细化的观点：MI 刻画模态间依赖关系，IB 解释压缩下面向任务的信息保留，PID 将保留的信息分解为冗余、独特性和协同。我们回顾了 170 项近期研究（2018--2026）和 12 项基础性工作，围绕四个挑战组织多模态学习：跨模态对齐、信息高效融合、交互类型刻画，以及向多模态基础模型的扩展。我们不把应用领域作为主要分类轴，而是将医疗健康、机器人、推荐系统、情感计算和无线通信解读为这些信息原理的实证验证。除分类之外，我们在单一的信息论坐标系——广义多模态信息拉格朗日量——中组织现有多模态范式，各范式在其中占据精确或近似的参数角落，而未被占据的区域则指出了文献尚未构建的候选方法族。我们进一步讨论新兴多模态基础模型如何在大规模上体现这些原理，并指出开放挑战，包括高维环境下可扩展的信息估计、信息论方法间的标准化评估、多模态 PID 的组合复杂性，以及从事后信息分析向信息感知多模态学习的转变。
| 学科： | 信息论（cs.IT）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.14421 [cs.IT] |
| （或本版本使用 arXiv:2609.14421v1 [cs.IT]） | |
| https://doi.org/10.48550/arXiv.2609.14421 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Liangjian Wen 博士 [查看电子邮件]
[v1]
2026年9月13日星期日 10:43:11 UTC（573 KB）
来源：arXiv cs.AI · arxiv.org