跳到正文
arXiv·· 12 天前AI 评分18

Later Is Better:分布偏移下 ViT 的 Token 缩减

Later Is Better: Token Reduction for ViTs Under Distribution Shift

AI 导读

研究发现,无需训练的 Token 缩减方法在分布偏移下与未压缩模型的精度差距会随移除率扩大,而这一差距由通常被当作实现细节固定下来的缩减调度(即移除的深度分布)决定。作者提出一种单参数、后期集中的幂律调度,用于改善分布偏移下的精度表现。

来源:arXiv · arxiv.org