arXiv cs.AI· Mo Shahdloo, Faegheh Sardari, Mathew Salvaris·· 10 小时前AI 评分34
Latent-Lens：让小语言模型通过隐空间通信获得视觉感知
Latent-Lens: Visual Perception in Small Language Models Through Latent Communication
AI 导读
Latent-Lens 是一种轻量编解码器，让冻结的 VLM 与冻结的纯文本 SLM 直接在隐空间通过隐藏状态通信，仅训练约 1.6M 参数（占合并模型规模的 0.2%）。
正文 · AI 翻译
摘要：在模块化多智能体系统中，将独立的视觉语言模型（VLM）与小语言模型（SLM）连接起来，通常迫使它们以离散文本的形式交换信息，这为空间和细粒度细节造成了有损瓶颈。这一限制对 SLM 尤为严峻，因为其有限的能力使其更依赖输入信号的质量。近期的潜在通信方法在语言模型之间交换状态。然而，VLM 如何将视觉信息传递给单独预训练的纯文本 SLM 仍未被探索。我们提出 \textbf{Latent-Lens}，一种轻量级编解码器，直接在潜在空间中弥合冻结 VLM 与冻结 SLM 之间的表示差距，使它们能够纯粹通过隐藏状态进行通信。该编解码器由一个域编码器和一个注意力解码器组成，前者将 VLM 的隐藏状态投影到 SLM 的嵌入空间，后者被形式化为 LoRA，教会 SLM 关注这些视觉前缀，而训练仅需 ${\sim}1.6$M 参数（占组合模型规模的 0.2\%）。在视觉问答（CLEVR、GQA）上，Latent-Lens 达到 $81.0\pm7.9$\% 和 $65.4\pm5.4$\%，而相同 LoRA 预算下的文本通信为 $58.3\pm5.7$\% 和 $61.8\pm1.0$\%（相对于冻结文本通信提升 +30.2--69.8pp），而在图像描述（Flickr8k）上，它比相同基线提升 +16.5（冻结基线 +18.8）。我们还使用 TinyLlama-1.1B 和 InternVL2-1B 评估了 Latent-Lens，它们使用不同的架构、词汇表和隐藏维度。
| 评论： | 发表于 NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.41751 [cs.LG] |
| （或 arXiv:2610.41751v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41751 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mo Shahdloo [查看电子邮件]
[v1]
2026年10月30日星期五 13:53:44 UTC（2,969 KB）
来源：arXiv cs.AI · arxiv.org