arXiv cs.AI· Vatsal, Soumil Malhotra, Priyanshu Chahal, Sanjeev Kumar·· 3 天前AI 评分22
Prune-and-Merge ViT：无需训练的 Vision Transformer token 压缩方法
Scaling Vision Transformers Without Training: Prune-and-Merge Token Compression
AI 导读
研究者提出 Prune-and-Merge ViT，一种面向现成模型的免训练 token 压缩框架，结合基于类注意力的剪枝与基于相似度的合并来减少冗余并保留语义信息。在预训练的 ViT 和 DeiT 上，该方法在降低计算量的同时保持了鲁棒性，准确率优于现有 token 缩减方法。作者还引入 RAD 和 PFR 两项指标评估鲁棒性，分析显示混合 token 缩减不会引入类幻觉行为。
正文 · AI 翻译
摘要：视觉 Transformer 性能强劲，但二次方级别的 token 交互带来了高昂的计算成本。免训练的 token 缩减方法提升了效率，但其鲁棒性仍未得到充分探索。我们提出 Prune-and Merge ViT，一个面向现成模型的免训练框架。它结合了基于类别注意力的剪枝与基于相似度的合并，在减少冗余的同时保留语义信息。为评估鲁棒性，我们引入两个指标。相对精度下降（RAD）衡量变换下的相对精度退化，预测翻转率（PFR）量化预测一致性。在预训练的 ViT 和 DeiT 上，Prune-and-Merge 在保持鲁棒性的同时以有竞争力的方式减少计算量，并取得优于现有 token 缩减方法的精度。我们的分析表明，混合 token 缩减不会引入类似幻觉的行为，并且对常见图像变换保持预测稳定性。
| 评论： | 被 NeurIPS 2026 的 GlobalSouthAI Workshop 接收；12 页 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18039 [cs.CV] |
| （或 arXiv:2610.18039v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18039 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Vatsal Singhal [查看邮箱]
[v1]
2026年10月13日星期二 09:29:25 UTC（22 KB）
[v2]
2026年10月14日星期三 04:42:32 UTC（22 KB）
来源：arXiv cs.AI · arxiv.org