arXiv cs.CL· Jia Wang, Yuqing Li, Jiangnan Li, Zheng Lin, Mo Yu·· 11 小时前AI 评分32
多模态大模型（MLLM）的检索头机制在音视频模态下是否扩展
A Broader Look into MLLM's Retrieval Heads
AI 导读
研究以音视频配对输入检验多模态大模型的检索头机制，发现新模态下检索头依然稀疏且跨模态大量共享，在 18 个语言、视觉语言与全模态 checkpoint 中，全模态模型基本保留其骨干网络的检索头。
正文 · AI 翻译
摘要：在长输入中定位相关证据是多模态大语言模型的一项核心能力。先前研究将这一能力归因于检索头，即一组稀疏的注意力头，负责将上下文中的信息传递到输出。然而，这些分析仅限于有限的一组模态及相应模型。此外，如何利用检索头来增强模型仍有待进一步探索。本文中，我们探究这一机制是否会随模型输入模态的扩展而扩展。以视听输入作为新增模态，我们构建了配对输入，其中同一答案要么以语音说出，要么显示在屏幕上。在证据内容固定的情况下，检索头在新模态中仍然稀疏，并在很大程度上跨模态共享。在 18 个语言、视觉-语言和全模态检查点上，全模态模型在很大程度上保留了其骨干网络的检索头。消融这些头几乎消除了所有视听检索能力。跨模态共享的头占全部头的不到 2\%，但消融它们也会降低文档理解、空间感知和视觉数学能力。基于这些发现，我们通过以排序目标训练检索头的注意力，将其转变为优化目标。这使得 Qwen3-VL-8B 在 MMDocIR 上的页面 Recall@1 提升了 6.03 个百分点，并改善了三个模型系列的文档检索。因此，功能性注意力头既可作为观察多模态模型的透镜，也可作为改进它们的目标。
| 评论： | 进行中的工作 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32411 [cs.CL] |
| （或 arXiv:2610.32411v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32411 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jia Wang [查看邮箱]
[v1]
2026年10月23日星期五 09:37:28 UTC（2,416 KB）
来源：arXiv cs.CL · arxiv.org