arXiv cs.AI· Donghyeon Cho, Joowon Kim, Seungho Shin, Eunho Yang·· 12 小时前AI 评分31
LOWN：为扩散视觉语言模型按需处理图像的证书引导视觉路由方法
Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
AI 导读
研究者提出解码方法 LOWN，在扩散视觉语言模型（DVLMs）的每一步解码中判断是否需要处理图像以及解掩码多少 token。
正文 · AI 翻译
摘要：扩散视觉语言模型（DVLMs）在每个去噪步骤都会处理其全部输入。在我们研究的基准测试中，视觉 token 占该输入的 89-97%，因此大部分解码计算都花在反复处理同一张图像上。视觉 token 剪枝方法通过移除部分视觉 token 来部分缓解这一负担，但它们会丢失被移除的信息，并且仍然在每个步骤处理剩余图像。为了衡量图像实际被需要的频率，我们在每个解码步骤比较 LLaDA-V 在有图像和无图像情况下的预测，发现移除图像仅在平均 22.8% 的步骤中改变某个 token 被解除掩码，最低仅为 7.9%。因此，我们提出 LOWN，一种在每个步骤决定是否处理图像以及解除多少 token 掩码的解码方法。LOWN 在没有图像的情况下预测被掩码的 token，仅当该预测与上一次以图像为条件的预测不一致时才处理图像。一致则证明较早的预测可复用，而通过认证的 token 数量决定该步骤中解除掩码的 token 数。我们进一步观察到，对图像的需求因基准测试而异，因此需要 LOWN 的自适应决策，而非固定调度。无需训练或调优阈值，LOWN 在十个基准测试上以平均 35.3% 的解码 FLOPs 保留了 LLaDA-V 99.6% 的分数。LOWN 还可泛化到基于 LLaDA 的 DVLMs，与视觉 token 剪枝正交组合，并在键值缓存下运行以进一步提升效率。代码和项目页面见 此 https URL
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.36671 [cs.CV] |
| （或 arXiv:2610.36671v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36671 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Donghyeon Cho [查看电子邮件]
[v1]
2026年10月27日星期二 05:43:30 UTC（1,995 KB）
来源：arXiv cs.AI · arxiv.org