Varest：通过预 LLM 语义可变分辨率 Token 化与 LLM 内相关性剪枝实现图像 Token 压缩

Just Respect the Semantics: Image-Token Compression via Pre-LLM Semantic Variable-Resolution Tokenization and In-LLM Relevance Pruning

AI 导读

Varest 提出一种图像 token 压缩方法，基于语义可替换性，用目标与文本定位器引导可变分辨率合并，再通过可学习的 [REL] 寄存器在解码器早期处理后剪枝视觉 token。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：图像 token 压缩必须在减少计算量的同时不损害语义。我们提出 Varest，其指导思想是语义可替换性：连贯语义区域内的 token 可以粗略概括，而物体边界和文字内容则需要更精细的区分。物体和文字定位器引导可变分辨率合并，在边界和文字处保留空间覆盖和更精细的细节。学习得到的 [REL] 寄存器随后在解码器早期处理后剪枝视觉 token。跨预算训练使得每个骨干网络只需一个检查点。在三个骨干网络和 13 个基准测试上，Varest 在每个评估预算下的平均性能保持率均优于 15 个基线，仅用原始层平均图像 token 数量的 5.56% 就保留了完整 token 性能的 86.10-92.33%。

主题：	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG）
引用为：	arXiv:2610.18690 [cs.CV]
	（或 arXiv:2610.18690v1 [cs.CV] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.18690 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Tianhao Fu [查看邮箱]
[v1] 2026年10月13日星期二 16:42:32 UTC（4,734 KB）

来源：arXiv cs.AI · arxiv.org