arXiv cs.CL· Zhiyun Shi·· 11 小时前AI 评分52
VLMs Read Aloud：VLM 识别与使用视觉文本之间的差距
VLMs Read Aloud: The Gap Between Recognizing and Using Visual Text
AI 导读
论文提出 VLM 存在“读用差距”，即模型能逐字转录图像中的文字，却仍无法据此作答；把转录文本回喂给模型后，其表现接近直接读原文。识别与使用对分辨率要求不同，Qwen3-VL-8B 的识别在 15 像素字符时饱和，使用要到 24 像素才跟上，从 2B 扩到 32B 只提升识别、不缩小差距。
正文 · AI 翻译
摘要：视觉-文本压缩将长上下文渲染为图像，其设计核心在于视觉语言模型（VLM）能恢复多少文本。然而，恢复出的文本并不等于可用的文本。VLM 可以逐字转录图像中的文本，却仍然无法据此作答；而把其自己转录出的文本再交给它，其作答表现几乎与使用原始文本时一样好。我们将这一差异称为“读用差距”。识别和使用视觉文本对分辨率的要求不同：Qwen3-VL-8B 的识别在字符为 15 像素时达到饱和，而使用能力要到 24 像素才追平；从 2B 扩展到 32B 提升了识别能力，却没有缩小这一差距。将证据转化为文字可以弥合这一差距：具备思考能力的 VLM 会在其思考过程中复述证据，而它们在不看问题的情况下写出的自身转录文本，能够恢复思考所带来增益的大部分。在一项预注册的留出测试中，该差距能够对八个 VLM 从自身文字相对于像素中获得的增益进行排序（Spearman $\rho$ = 0.86），而识别率则不能。我们提出 ALOUD，将视觉分辨率用于发现和识别证据，将语言 token 用于使用证据。在不保留源文本的情况下，它使冻结的 Qwen3-VL-8B 在压缩 5 倍和 10 倍的长文档上的准确率翻倍：在 5 倍压缩下，从 27.7% 提升到 54.8%，接近原始文本的 58.5%，且上下文比压缩后的页面本身还小。其成本低于阅读原始文本，在同等预算下，它在各个层级上都领先于所有不依赖原始文本的方法，并击败了将原始文本粘贴回去的 AGAR 和 VERA；在 5 倍压缩下，它还击败了经过训练并保留原始文本的 LensVLM-9B。视觉-文本压缩的瓶颈不在于模型能恢复多少文本，而在于它能使用多少文本。
| 评论： | 23 页，7 幅图，21 张表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01517 [cs.CV] |
| （或 arXiv:2611.01517v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01517 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhiyun Shi [查看邮箱]
[v1]
2026 年 11 月 1 日周日 03:51:38 UTC（3,930 KB）
[v2]
2026 年 11 月 3 日周二 12:49:32 UTC（3,930 KB）
来源：arXiv cs.CL · arxiv.org