arXiv cs.AI· Aditya Gupta, Jean Sebastien Dandurand, Kai Qiu, Rohan Choudhury, Laszlo A. Jeni·· 10 小时前AI 评分31
SPLIT：为 Vision Transformer 学习分层 patch 拆分策略以减少 token 数
Learning Hierarchical Patch Splitting Policies for Faster Vision Transformers
AI 导读
研究者提出 SPLIT（Split Policy Learned Image Tokenization），让 Vision Transformer 依据模型认为有意义的内容而非像素级熵等启发式指标来分配 token 分辨率，生成更短的 token 序列。
正文 · AI 翻译
摘要：视觉 Transformer（ViT）受限于其输入 token 序列的长度。标准的分块化（patchification）通过在整个图像上应用单一分块尺寸来固定这一长度，而不考虑区域内容。此前关于自适应分块尺寸的研究通过为视觉上简单的区域分配更粗的分块来减少 token 数量，但依赖诸如局部熵之类的噪声像素级启发式方法来做出分块决策。我们认为，这种计算分配应基于模型对任务相关信息的理解，而非原始像素统计。我们提出了 Split Policy Learned Image Tokenization（SPLIT），它学习根据模型认为有意义的内容来分配 token 分辨率，从而生成与任务相关内容更匹配的更短 token 序列。SPLIT 在使用少 30% token 的情况下，达到了全分辨率 ViT 分类基线的准确率。同样的收益也体现在密集预测上：SPLIT 在 COCO 和 ADE20K 上取得了有竞争力的准确率，表明语义对齐的分块化可以很好地泛化到分类之外。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.05742 [cs.CV] |
| （或 arXiv:2611.05742v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05742 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aditya Gupta [查看电子邮件]
[v1]
2026 年 11 月 3 日星期二 23:28:16 UTC（21,119 KB）
来源：arXiv cs.AI · arxiv.org