arXiv cs.AI· Roy Xie, Dan Friedman, Donghan Yu, Bowen Pan, Christopher Fifty, Jang-Hyun Kim, Xianzhi Du, Zhe Gan, Vivek Rathod, Bhuwan Dhingra·· 6 天前AI 评分22
LensVLM：面向文本压缩视觉表征的选择性上下文扩展
LensVLM: Selective Context Expansion for Compressed Visual Representation of Text
AI 导读
基于 Qwen3.5-9B-Base 的 LensVLM 通过让 VLM 扫描压缩图像、再用学习到的工具选择性扩展相关图像，在 4.3× 有效压缩下保持与全文上限相当的准确率，并在七个文本 QA 基准上以最高 10.1× 有效压缩超越检索式及文本、视觉压缩基线。该方法还可泛化到多模态文档与代码理解任务，压缩越高相对基线的准确率增益越大。
正文 · AI 翻译
摘要：视觉语言模型（VLM）提供了一种令人兴奋的可能性：将文本作为渲染图像来处理，从而绕过将文本分词为长 token 序列的需要。由于 VLM 图像编码器将固定尺寸的图像映射为固定数量的视觉 token，改变渲染分辨率便提供了一个细粒度的压缩调节旋钮。然而，随着压缩程度增加，准确率会迅速下降：字符缩小到低于视觉编码器的有效分辨率，变得无法区分。为解决这一问题，我们提出 LensVLM，一种推理框架与后训练方案，使 VLM 能够扫描压缩图像，然后通过习得的工具选择性地仅将相关图像扩展为其未压缩形式。基于 Qwen3.5-9B-Base 构建，LensVLM 在 4.3$\times$ 有效压缩下保持与全文上界相当的准确率，并在七个文本问答基准上，在最高 10.1$\times$ 有效压缩下优于基于检索、文本压缩和视觉压缩的基线。LensVLM 还能泛化到多模态文档与代码理解任务，且随着压缩增加，相对基线的准确率增益不断扩大。我们的分析验证了这一方法：训练使视觉压缩对渲染选择具有鲁棒性，并且随着压缩增加，模型越来越依赖扩展内容，而非不可靠的视觉读取。该分析还给出了实用的工具选择指导：对于渲染文本，文本扩展更可取；而高分辨率图像扩展则适合其布局线索携带任务相关信息的原生文档。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.07019 [cs.CV] |
| （或本版本的 arXiv:2605.07019v4 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2605.07019 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Roy Xie [查看邮箱]
[v1]
2026年5月7日星期四 23:03:21 UTC（14,384 KB）
[v2]
2026年10月1日星期四 04:51:40 UTC（14,390 KB）
[v3]
2026年10月2日星期五 04:38:07 UTC（14,390 KB）
[v4]
2026年10月9日星期五 10:42:26 UTC（14,390 KB）
来源：arXiv cs.AI · arxiv.org