arXiv cs.AI· Fabian Gr\"oger, Na\"el Ouerghemi, Shuo Wen, Maria Brbi\'c·· 3 天前AI 评分31
重新思考多模态 LLM 中的投影器训练
Rethinking Projector Training in Multimodal LLMs
AI 导读
研究发现多模态 LLM 的投影器训练阶段仅需 10% 到 20% 的数据即可恢复大部分下游性能，且不同数据集训练的投影器可线性插值而性能基本保持，表明该阶段主要完成粗对齐。
正文 · AI 翻译
摘要：多模态 LLM 通常的训练方式是：首先通过在大型图像-描述数据集上训练投影器，将视觉编码器与语言模型对齐，然后对完整的多模态模型进行联合训练。尽管这种做法被广泛使用，但投影器训练阶段的作用仍鲜为人知。我们发现：(i) 仅使用 $10$ 到 $20\%$ 的数据来训练投影器，就已能恢复大部分下游性能提升；(ii) 在不同数据集上训练的投影器可以进行线性插值，同时基本保持性能。这些结果表明，投影器训练主要执行的是粗略对齐，而许多不同的投影器都能同样出色地完成这一任务。受这些发现启发，我们提出了 PORTAL，一种无需训练的投影器初始化方法，它既不需要配对的图像-描述数据，也不需要基于梯度的优化，只需要各模态的汇总统计量。PORTAL 在共享主成分子空间上，计算视觉与语言特征分布的高斯近似之间的基于最优传输的映射，从而可以完全跳过投影器训练阶段。在没有任何配对数据的情况下，PORTAL 在六个 LLM 主干、两个视觉编码器和 16 个基准测试上，与在 558k 图像-描述对上训练的标准流程相当。在 $7$ 个（视觉编码器，LLM）设置中，它在 $3$ 个上优于该流程，并在其余四个上平均达到其得分的 $98\%$。
| 评论： | NeurIPS 2026 正式录用版 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；计算与语言 (cs.CL) |
| 引用格式： | arXiv:2610.18598 [cs.CV] |
| （或 arXiv:2610.18598v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18598 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Fabian Gröger [查看邮箱]
[v1]
2026年10月13日星期二 15:53:53 UTC（707 KB）
来源：arXiv cs.AI · arxiv.org