arXiv cs.AI· Rinyoichi Takezoe, Yaqian Li, Weiren Wang, Zihao Bo, Huihong Shi, Anzhou Hou, Mo Guang, Jiale Yan, Kaiwen Long·· 12 小时前AI 评分29
LearnPrunerV2：面向视觉语言模型的可学习渐进式 Token 剪枝
LearnPrunerV2: Learnable Progressive Token Pruning for Vision-Language Models
AI 导读
LearnPrunerV2 将此前两阶段启发式框架 LearnPruner 扩展为全可学习架构，在 VLM 主干每一层集成轻量可学习模块，融合内在视觉显著性与通过 shadow token 捕获的外在查询相关性来估计 token 重要性。
正文 · AI 翻译
摘要：视觉语言模型（VLM）已展现出卓越的多模态能力，但由于海量的视觉 token，其计算开销高得令人难以承受。虽然 token 剪枝是一种有前景的解决方案，但现有方法仍存在两大缺陷：1）剪枝标准不可靠，由于固有的注意力偏差或与查询无关的设计，无法准确定位任务特定区域；2）剪枝策略次优，采用僵化、非自适应的调度方式，忽视了 token 冗余在不同模型深度上的动态演变。为解决这些挑战，我们提出 LearnPrunerV2，将先前的两阶段启发式框架（LearnPruner）扩展为完全可学习的架构。具体而言，我们在 VLM 主干的每一层中集成轻量级可学习模块，通过融合内在视觉显著性与经由 shadow token 捕获的外在查询相关性来估计 token 重要性。通过揭示 VLM 各层中一致的阶梯式冗余模式，我们进一步引入预算确定性剪枝（BDP），以建立具有固定逐层预算的硬件友好型调度。跨多种基准和 VLM 的大量实验结果表明，LearnPrunerV2 始终优于先前的最先进方法。值得注意的是，在 LLaVA-v1.5 上剪枝 77.8% 的视觉 token 时，LearnPrunerV2 仍保留了原始性能的 99.8%，实现了更优的精度-效率权衡。
| 评论： | 被 ACM Multimedia 2026 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36986 [cs.CV] |
| （或 arXiv:2610.36986v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36986 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rinyoichi Takezoe [查看邮箱]
[v1]
2026年10月27日星期二 10:35:41 UTC（5,219 KB）
来源：arXiv cs.AI · arxiv.org