arXiv cs.AI· Riccardo Renzulli, Gabriele Spadaro, Shruthi Gowda, Alaa Eddine Mazouz, Van-Tam Nguyen·· 11 小时前AI 评分31
TORINO：用可解释概念重叠实现视觉语言模型视觉 token 缩减
TORINO: Token Reduction via Interpretable Concept Overlap in Vision-Language Models
AI 导读
TORINO 是一个无需微调的即插即用框架，利用 Sparse Autoencoders 将视觉 token 投影到可解释隐空间，通过共享概念激活定义概念重叠并分组，再以剪枝或合并方式缩减视觉 token。
正文 · AI 翻译
摘要：视觉语言模型（VLM）在不同任务中展现出令人印象深刻的能力，但其计算开销主要来自输入语言模型的大量视觉 token。现有的 token 缩减方法依赖基于注意力的分数或成对相似度，缺乏对每个 token 的显式语义表示。我们提出 TORINO（TOken Reduction via Interpretable coNcept Overlap，基于可解释概念重叠的 token 缩减），这是一个即插即用的框架，用于在 VLM 中自适应地缩减视觉 token，且无需对底层模型进行微调。TORINO 利用稀疏自编码器（SAE）将视觉 token 投影到可解释的潜在空间，在该空间中可通过共享的概念激活来分析 token 之间的关系。具体而言，我们将概念重叠定义为活跃 SAE 潜在变量之间的一致程度，并用它来对共享语义内容的 token 进行分组。随后通过剪枝或合并对每组内部进行缩减，从而提供一个统一框架，在去除冗余的同时保留语义上重要的视觉信息。与固定预算的方法不同，TORINO 根据输入复杂度动态调整缩减率，使不同图像能够保留不同数量的 token。在多个视觉语言基准上的实验表明，TORINO 实现了有利的效率与准确率权衡，在性能损失极小的情况下减少了视觉 token 的数量。源代码发布于 此 https URL。
| 评论： | 已被 WACV 2027 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.04593 [cs.CV] |
| （或 arXiv:2607.04593v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.04593 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Riccardo Renzulli [查看邮箱]
[v1]
2026年7月6日星期一 01:43:09 UTC（3,769 KB）
[v2]
2026年10月16日星期五 07:05:50 UTC（3,773 KB）
来源：arXiv cs.AI · arxiv.org