arXiv cs.AI· Xiaolin Lin, Kai-Chiang Wu, Bing Li, Grace Li Zhang·· 10 小时前AI 评分38
SkimPrefill:让小模型先读,加速长交错图文输入的预填充
Let a Small Model Read First: Faster Prefill for Long Interleaved Image-Text Inputs
AI 导读
SkimPrefill 让小型混合模型 Qwen3.5-0.8B 先以半分辨率图像读完整个输入,仅用早期层的一个注意力头对图像或段落单元排序,再把排名靠前的单元作为更短的提示词交给目标模型。
正文 · AI 翻译
摘要:视觉语言模型(VLM)能够回答关于长交错输入的问题,例如多页文档和数百张图像的集合,但它们启动缓慢:在约 100K token 的输入上,预填充占据了等待首个输出 token 的大部分时间。一种常见的方法是通过用目标模型本身或同系列的小模型(先写出答案)对输入 token 打分来剪枝输入。然而,这种打分占用了剪枝所节省的大部分时间。我们发现,问题的证据存在于少数完整单元(图像或段落)中,而一个小型混合模型仅用早期层的一个注意力头就能找到它们,即使在半图像分辨率下也是如此。基于这些发现,我们提出 SkimPrefill,它让小混合模型先读取整个输入,直到那个早期层,图像以半分辨率处理。小混合模型(Qwen3.5-0.8B)的大多数层以线性时间运行,因此这一遍很短。然后 SkimPrefill 用该头对每个单元进行排序,并将排名靠前的单元作为普通的较短提示交给目标模型。一个未经训练的选���器可服务于不同模型系列的目标模型。在 128K token 的 MMLongBench 上,针对五种任务类型的 19 个数据集进行的大量实验,证明了 SkimPrefill 的有效性。在保留 10% 输入 token 的情况下,SkimPrefill 将 Qwen3.5-9B、Gemma-4-12B 和 Qwen3-VL-32B 的预填充分别加速了 3.7 倍、11.6 倍和 8.2 倍,同时保持了它们的平均准确率。
| 学科: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24431 [cs.CV] |
| (或此版本的 arXiv:2611.24431v1 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2611.24431 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Grace Li Zhang [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 13:49:02 UTC(1,265 KB)
来源:arXiv cs.AI · arxiv.org