arXiv cs.CL· Andong Hua, Colton Bishop, Igor Mordatch, Arian Hosseini, Jindong Gu, Aleksandra Faust, Rebecca Roelofs, Yao Qin·· 6 天前AI 评分33
TokenSwap：多模态 LLM 模态差距的基准测试与缓解方法
TokenSwap: Benchmarking and Reducing the Modality Gap in Multimodal LLMs
AI 导读
研究者提出 TokenSwap，通过将文本概念替换为语义对齐的图像，构建视觉 token 与文本 token 交错的输入，并把 MMLU 等文本基准改造成 TokenSwap-Bench。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）应表现出跨模态一致性，即在语义等价的跨模态输入下生成一致的响应。然而，我们观察到模型预测在这种跨模态变化下存在系统性差异。具体而言，我们将模态差距定义为模型在语义等价的文本输入与多模态输入下性能的差异。我们提出 TokenSwap，一种通过用语义对齐的图像替换文本概念来构造此类输入的方法，从而生成视觉 token 与文本 token 交错的序列。基于 TokenSwap，我们将现有的基于文本的基准（例如 MMLU）转换为图像交错的对应版本，得到 TokenSwap-Bench。在 42 个 MLLM 上，我们观察到普遍存在的模态差距，从纯文本输入转为图像交错输入时性能下降 4.2% 至 47.4%，各模型平均为 19.6% +/- 3.3%。值得注意的是，推理模型表现出的差距始终较小，平均差距为 10.1%，而非推理模型为 25.5%，这表明在等价的文本与视觉表示下多模态推理具有更强的鲁棒性。相比之下，仅靠提示策略或扩大训练计算量都无法可靠地缩小模态差距。最后，我们证明在训练中引入 TokenSwap 能有效缓解这一差距，在保持强大的纯文本和视觉语言模型性能的同时改善跨模态对齐。项目页面见 this https URL。
| 学科： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2607.28640 [cs.CL] |
| （或 arXiv:2607.28640v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.28640 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Andong Hua [查看邮箱]
[v1]
2026年5月20日星期三 00:25:52 UTC（4,021 KB）
[v2]
2026年10月8日星期四 21:08:38 UTC（4,019 KB）
来源：arXiv cs.CL · arxiv.org