arXiv cs.AI· Xuhui Zhan, Tyler Derr·· 9 天前AI 评分24
Inverse-LLaVA：用文本到视觉映射重新思考多模态对齐
Inverse-LLaVA: Rethinking Multimodal Alignment via Text-to-Vision Mapping
AI 导读
Inverse-LLaVA 反转了传统多模态对齐方向，在解码器注意力内将语言状态投影到视觉特征维度，由模态专属映射生成残差 query、key、value 更新，冻结骨干网络、无需独立对齐阶段。最终 7B 模型在 VQAv2 得 78.45%（LLaVA-LoRA 为 79.13%），VizWiz 得 50.96%（对比 48.56%），TextVQA 为 56.96%（对比 58.47%）。
正文 · AI 翻译
摘要：连接预训练视觉与语言模型通常需要将图像特征投影到语言模型的输入空间。Inverse-LLaVA 在解码器注意力中反转了这一映射：语言状态被投影到视觉特征维度，模态特定的映射产生残差查询、键和值更新。融合与低秩适应（LoRA）从 665K 视觉指令中联合学习，主干网络冻结且没有单独的对齐阶段。在九项主要基准评估中，最终的 7B 模型在若干任务上接近两阶段 LLaVA-1.5。在 VQAv2 上得分为 78.45%，而官方 LLaVA-LoRA 为 79.13%；在 VizWiz 上为 50.96% 对 48.56%；TextVQA 较低，为 56.96% 对 58.47%。对照研究考察了融合组件、插入深度、视觉特征和语言模型规模。表示分析表明，文本映射保留了大部分成对相似度排序，同时改变了其几何分布。额外的配对监督改善了名人识别，而指令回放修复了字幕引起的答案格式失败。解析成本表达式和固定工作量剖面将额外的融合计算与省略的对齐阶段区分开来。这些发现确立了文本到视觉注意力融合作为仅指令多模态适应的一种实用替代方案。
| 评论： | 50 页，20 幅图，包括附录。经过大幅修订，重新训练了模型，更新了基准结果，并扩展了消融、效率和表示分析。代码、模型权重和可复现性工件：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2508.12466 [cs.CV] |
| （或 arXiv:2508.12466v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2508.12466 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Xuhui Zhan [查看电子邮件]
[v1]
2025年8月17日星期日 18:36:04 UTC（1,202 KB）
[v2]
2026年7月15日星期三 14:44:35 UTC（1,271 KB）
[v3]
2026年10月8日星期四 15:19:41 UTC（5,021 KB）
来源：arXiv cs.AI · arxiv.org