arXiv cs.AI· Hyeongheon Cha, Hyungjun Yoon, Sung-Ju Lee·· 10 天前AI 评分26
越晚越好：分布偏移下 ViT 的 token 削减调度
Later Is Better: Token Reduction for ViTs Under Distribution Shift
AI 导读
研究提出一种单参数、后期集中的幂律 token 削减调度，在分布偏移下比均匀调度更稳。在 ImageNet-C 上用 DeiT-S，该调度以 26% 计算削减弥补了 83% 的精度差距（+1.17pp），在 7% 削减下弥补 99%（+0.26pp）。增益在 ToMe、EViT、ATS、ATC、PiToMe 五种方法与九种骨干上均成立，且无需逐输入或逐域调参。
正文 · AI 翻译
摘要：免训练 token 缩减通过跨层移除冗余 token 来加速视觉 Transformer，以一小部分计算量恢复大部分原始精度。然而，这些方法主要是在干净数据上设计和评估的，在真实世界的分布偏移下，它们与未压缩模型之间的精度差距会随着移除率而扩大。我们表明，这一差距由缩减调度——即移除的深度分布曲线，通常作为实现细节被固定下来——所决定。具体而言，我们引入了一种单参数的后期集中幂律调度，在不增加额外推理成本的情况下，持续提升分布外精度，优于均匀调度。在 DeiT-S 上的 ImageNet-C 中，后期调度在 26% 计算缩减下弥合了该差距的 83%（+1.17pp），在更轻的 7% 缩减下弥合了 99%（+0.26pp）。这一增益不能归因于保留了更多 token 或使用了额外计算：在与均匀调度相同的计算量下，后期调度总共移除了更多 token，且在末端留下更少 token，却仍然胜出。单层探测指向了一种机制：较早的缩减会扰动那些还要经过更多剩余层的特征，从而在深度上把缩减误差前置。这一效应具有广泛性，在五种 token 缩减方法（ToMe、EViT、ATS、ATC、PiToMe）、九种骨干网络、所有 ImageNet-C 损坏类型、八个进一步的偏移套件以及另外两种模态（视频和视觉语言问答）上均成立。它也是偏移特有的，在干净数据上仍为正，并随严重程度单调上升，在最高严重程度 5 时约为干净数据的 4 倍。该调度在六种测试时自适应方法下仍保持其增益，且无需针对每个输入或每个领域进行调优。
| 评论： | 35 页。代码：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07758 [cs.CV] |
| （或 arXiv:2610.07758v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07758 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hyeongheon Cha [查看电子邮件]
[v1]
2026年10月6日星期二 04:54:06 UTC（568 KB）
来源：arXiv cs.AI · arxiv.org