LIFT：用语言侧推理向量恢复 VLM 退化推理能力

查看 PDF HTML（实验性）

摘要：大多数视觉语言模型（VLM）是通过为预训练大语言模型（LLM）扩展视觉模块并进行多模态对齐而构建的。然而，这种多模态扩展往往会削弱基础 LLM 原本编码的语言侧推理能力。虽然基础 LLM 在扩展后仍保留可用的推理能力，但对齐后的 VLM 本身无法可靠地获取这一能力。因此，要恢复 VLM 中退化的推理能力，向基础 LLM 求助比仅依靠 VLM 本身更有效。受此启发，我们提出 LIFT（Language-side reasonIng Facilitation and Transfer），一种轻量级向量干预方法，可在不重新训练主干的情况下将推理能力从基础 LLM 迁移到 VLM。LIFT 将推理向量定义为带有显式推理轨迹的 Reasoner 路径与不带该轨迹的 Solver 路径之间答案 token 的隐藏状态差异，并将这些向量注入目标 VLM 的语言侧激活中。LIFT 还支持可学习的向量适配，同时保持 VLM 主干冻结。我们在两个 VLM 上跨六个推理基准评估 LIFT，在匹配协议下比较从基础 LLM 和从对齐 VLM 中提取的推理向量。结果表明，来自 LLM 的向量始终优于来自 VLM 的向量，证实基础 LLM 是恢复推理能力更有效的来源。LIFT 通过轻量级语言侧干预部分恢复了退化的推理能力。进一步分析表明，推理向量影响的是中间推理行为，而不仅仅是改变最终答案。源代码即将发布。

提交历史

来自：Ziyi Wang [查看邮箱]
[v1] 2026年9月25日星期五 11:31:02 UTC（404 KB）
[v2] 2026年11月5日星期四 10:07:00 UTC（406 KB）