arXiv cs.CL· Miso Choi, Daekeun Kim, Eunji Kim, Jungbeom Lee·· 13 小时前AI 评分38
V-LUMEN：为视觉语言模型嵌入扩展打造的视觉查找记忆
V-LUMEN: Visual Lookup Memory for Embedding Scaling in Vision-Language Models
AI 导读
V-LUMEN 提出一种面向视觉语言模型的视觉查找记忆，通过冻结码本离散化视觉特征、空间聚合哈希构建记忆键，并以文本条件相关性调制，检索到的嵌入经门控残差路径融合进主干。在五个推理密集型基准上，它显著提升冻结的 Qwen3-VL-2B 主干，并零样本迁移到三个图像与训练数据不重叠的基准。查找成本与表大小无关且仅在 prefill 阶段产生一次，容量随存储而非每 token 计算增长。
正文 · AI 翻译
摘要：嵌入级扩展通过基于查找的记忆而非增加模型深度、宽度或稠密计算来扩展语言模型的容量。将这一思路扩展到视觉语言模型（VLM）颇具挑战，因为视觉特征是连续的、具有空间结构且依赖查询，不同于天然支持 n-gram 查找的离散文本 token。我们提出 V-LUMEN，一种面向 VLM 的视觉查找记忆。V-LUMEN 使用冻结码本对视觉特征进行离散化，通过基于空间聚合的哈希构建空间感知的记忆键，并用文本条件相关性信号对其进行调制；所有寻址均为非参数化，检索到的嵌入通过门控残差通路融合进主干。在五个推理密集型基准上，V-LUMEN 显著提升了冻结的 Qwen3-VL-2B 主干，并零样本迁移到三个图像与训练数据不相交的基准。在匹配的参数预算下，将 LoRA 或 MoE 适配器的一部分容量移入 V-LUMEN 可在两个主干上保持准确率，表明外部视觉记忆是一条独立的容量轴，而非更强的适配方法。由于查找成本与表大小无关且仅在预填充时产生一次，这种容量增长体现在存储而非每 token 计算上。代码见 此 https URL。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.37019 [cs.LG] |
| （或 arXiv:2610.37019v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37019 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Miso Choi [查看邮箱]
[v1]
2026年10月27日星期二 10:57:47 UTC（376 KB）
来源：arXiv cs.CL · arxiv.org