arXiv cs.CL· Wish Suharitdamrong, Muhammad Awais, Xiatian Zhu, Sara Atito·· 10 小时前AI 评分34
从感知到决策：多模态 LLM 中听觉与视觉信息流的内部路径研究
From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs
AI 导读
研究追踪了音视频大语言模型（AVLLMs）内部音频与视觉 token 的信息流动路径：在音视频视频输入下，模型沿用 VLM 与 VideoLLM 的序列信息流路径，音频与视觉的贡献按任务对各模态的依赖比例分配；在多段交错音视频条目场景下，路由则转为不同的并行流。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）能够听和看，但音频和视觉信号实际上是如何在网络中传播并塑造答案的？尽管它们在研究和实际应用中的作用日益增强，但音频和视觉 token 影响最终预测的内部路径仍然鲜为人知。在本研究中，我们考察了音视频大语言模型（AVLLMs）内部的音视频信息流，追踪 AVLLMs 在两种输入配置（音视频视频和多个交错音视频项）下如何路由、利用和整合音频与视觉信息。我们发现，对于音视频视频，AVLLMs 遵循为 VLMs 和 VideoLLMs 建立的顺序信息流路径，音频和视觉的贡献沿此路径流动，其比例与任务对每种模态的依赖程度成正比。在具有多个交错音视频项的设置中，这种路由转向不同的并行流。此外，我们证明，一旦音视频和其他 token 类型的信息转移到 LLM，它们就可以被丢弃，对模型的预测影响极小，甚至略有改善，并在多个任务和数据集上具有泛化性，从而实现更高效的推理。这些发现在多个模型和规模上均成立，包括 3B 和 7B 规模的 Qwen2.5-Omni 和 Video-SALMONN2 Plus，从而提出了关于这些流结构为何出现的假设。总之，这些结果首次连贯地描绘了 AVLLMs 如何在网络内部协调声音和视觉，并为音视频及更广泛的 MLLMs 在可解释性、设计和效率方面的下一波进展奠定了基础。
| Comments: | 被 NeurIPS 2026 接收，54 页，34 幅图 |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；声音（cs.SD） |
| 引用为： | arXiv:2606.10147 [cs.AI] |
| （或 arXiv:2606.10147v3 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.10147 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Wish Suharitdamrong [查看电子邮件]
[v1]
2026 年 6 月 8 日星期一 20:26:09 UTC（3,121 KB）
[v2]
2026 年 11 月 2 日星期一 21:15:54 UTC（3,369 KB）
[v3]
2026 年 11 月 5 日星期四 20:23:53 UTC（3,369 KB）
来源：arXiv cs.CL · arxiv.org