TOPS：基于构建 Token 最优保留集的第一性原理视觉 Token 剪枝，加速 MLLM 推理
TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference
研究者提出免训练、模型无关的视觉 Token 剪枝模块 TOPS，从第一性原理将剪枝形式化为构建 Token 最优保留集，并归纳出任务相关性、信息覆盖与语义多样性三条原则。在 7 个 MLLM 骨干和 14 个基准上，TOPS 在多种剪枝设置下优于此前方法；在 LLaVA-NeXT 上剪除 77.8% 视觉 Token 后，7B 与 13B 模型性能分别保持 100.0% 和 100.6%。
作者：Tinghao Wang、Yichen Guo、Rui Huang、Junchi Yao、Qizhe Zhang、Zheng Lu、Yuan Zhang、Jiajun Cao、Zhirong Shen、Yaosong Du、Lijie Hu、Shanghang Zhang
摘要：多模态大语言模型（MLLMs）已具备强大的多模态推理能力，但其效率受限于大量视觉 token，带来了可观的计算开销。视觉 token 剪枝提供了一种自然的解决方案，然而现有方法并不完善：基于注意力的准则倾向于保留冗余 token，而基于多样性的准则往往与用户指令无关。即便是结合多种准则的方法，也仍缺乏对 token 剪枝内在目标的原则性表述。本文从第一性原理出发重新审视视觉 token 剪枝，将其形式化为构建 Token 最优保留集。通过自顶向下的信息论分析，我们确定了有效 token 选择的三个基本原则：任务相关性、信息覆盖度和语义多样性。基于这些原则，我们提出了 TOPS，一种无需训练且与模型无关的剪枝模块，可应用于各种 MLLM。在 7 个 MLLM 骨干网络和 14 个基准上的大量实验表明，TOPS 在多种剪枝设置下均优于先前方法。值得注意的是，在 LLaVA-NeXT 上，TOPS 移除了 77.8% 的视觉 token，同时在其 7B 和 13B 模型上分别保持了 100.0% 和 100.6% 的性能，这表明剪除冗余视觉 token 有时可以缓解幻觉，并为未来的轻量级 MLLM 设计提供启发。我们的代码可在 此 https URL 获取。
| 评论： | 27 页，18 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.27161 [cs.AI] |
| （或 arXiv:2606.27161v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.27161 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tinghao Wang [查看邮箱]
[v1]
2026 年 6 月 25 日星期四 15:29:37 UTC（11,044 KB）
[v2]
2026 年 9 月 23 日星期三 10:09:35 UTC（11,044 KB）
[v3]
2026 年 10 月 15 日星期四 12:34:36 UTC（11,043 KB）
来源：arXiv cs.AI · arxiv.org