arXiv cs.AI· Xiaoya Tang, Shilong Liu, Daniel Smolyak, Xiwen Li, Quynh Nguyen, Tolga Tasdizen·· 3 天前AI 评分22
ReConV：用表示重建实现视觉 token 压缩
Bottlenecked semantic compression by representation reconstruction
AI 导读
研究者提出视觉 token 压缩框架 ReConV，用紧凑的 Summary Bank（SMB）汇总完整视觉序列，并依据重建残差保留 SMB 未能充分捕捉的 token，每个压缩层由轻量位置条件解码器重建当前 token。在 ImageNet 上，ReConV 以少 48% GMACs 超过未压缩基线，并支持可复用的图像级表示以加速多轮推理。代码已发布于 TokenDrop。
正文 · AI 翻译
摘要：视觉 Transformer 在处理长视觉 token 序列时会产生高昂的计算成本。现有的缩减方法通常独立地对 token 进行排序，并丢弃那些被认为不重要或冗余的 token。我们提出了一种重建引导的视觉 token 压缩框架（ReConV），它用一个紧凑的摘要库（SMB）来概括完整的视觉序列，并保留那些信息未被 SMB 充分捕获的 token，这由其重建残差所指示。在每个压缩层，一个轻量级的位置条件解码器重建当前 token，将共享信息压缩在 SMB 中，同时显式保留重建效果较差的细节。在图像分类和多模态理解上的实验展示了良好的性能-效率权衡：ReConV 在 ImageNet 上以少 48\% 的 GMACs 超越了未压缩的基线，并为高效的多轮推理提供了可复用的图像级表示。代码可在 TokenDrop 获取。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17412 [cs.CV] |
| （或 arXiv:2610.17412v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17412 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaoya Tang [查看电子邮件]
[v1]
2026年10月12日星期一 21:24:38 UTC（35,199 KB）
来源：arXiv cs.AI · arxiv.org