arXiv cs.AI· Huyu Wu, Meng Tang, Xinhan Zheng, Haiyun Jiang·· 1 天前AI 评分40
语言压过其他模态：多模态大语言模型中的文本主导现象研究
When Language Overrules: Revealing Text Dominance in Multimodal Large Language Models
AI 导读
研究首次系统考察了多模态大语言模型在图像、视频、音频、时间序列和图数据上的文本主导问题，提出 MDI 与 AEI 两项指标量化模态失衡，发现文本主导在所有测试模态中普遍存在。作者归因于非文本模态的 token 冗余导致注意力稀释、融合架构设计以及隐含偏好文本输入的任务形式，并提出一种简单的 token 压缩方法。在 LLaVA-7B 上应用后，其 MDI 从 10.23 降至 0.86。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）在各类多模态任务中展现出卓越能力。然而，这些模型存在一个被称为文本主导的核心问题：它们严重依赖文本进行推理，而对其他模态利用不足。尽管先前研究已在视觉-语言任务中注意到这一现象，并常将其归因于数据偏差或模型架构，本文首次对图像、视频、音频、时间序列和图等多种数据模态中的文本主导现象进行了系统性研究。为衡量这种失衡，我们提出了两个评估指标：模态主导指数（MDI）和注意力效率指数（AEI）。我们的全面分析表明，文本主导在所有测试模态中既显著又普遍。深入分析识别出三个根本原因：非文本模态中严重的 token 冗余导致的注意力稀释、融合架构设计的影响，以及隐式偏向文本输入的任务形式。此外，我们提出了一种简单的 token 压缩方法，可有效重新平衡模型注意力。例如，将该方法应用于 LLaVA-7B，可将其 MDI 从 10.23 大幅降至 0.86 的良好平衡值。我们的分析与方法框架为开发更公平、更全面的多模态语言模型奠定了基础。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2508.10552 [cs.CL] |
| （或 arXiv:2508.10552v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2508.10552 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Meng Tang [查看邮箱]
[v1]
2025年8月14日 星期四 11:44:52 UTC（4,501 KB）
[v2]
2026年11月11日 星期三 22:45:49 UTC（4,581 KB）
来源：arXiv cs.AI · arxiv.org