arXiv cs.AI· Yihang Huang, Peisong Wen, Chenhao Zhou, Difu Feng, Qianqian Xu·· 3 天前AI 评分22
SAVER：面向样本感知的视觉 token 压缩，重新思考相关性-多样性平衡
When 1+1 Backfires: Rethinking Relevance-Diversity Balancing for Sample-Aware Visual Token Reduction
AI 导读
针对现有视觉 token 压缩方法将相关性-多样性权重视为与输入无关的固定常数，研究者提出免训练的 SAVER 框架，通过 Geometric Intent Prior（GIP）为每个样本推断专属权重，并结合 Weighted Text Centroid（WTC）与 Visual Marginal Coverage Gain（VMCG）联合选 token。
正文 · AI 翻译
摘要：视觉 token 压缩已成为降低视觉语言模型推理成本的关键技术。现有方法基于文本相关性、视觉多样性或二者的固定组合来选择 token——将相关性-多样性平衡视为与输入无关的通用常数。我们通过系统性分析来挑战这一假设。在数据集层面，对每个基准进行网格搜索以寻找最优的相关性-多样性权重，揭示了显著的跨任务差异。更关键的是，我们进一步最大化每个样本的答案似然以恢复样本级最优权重，发现其分布不仅在基准之间差异显著，而且在同一基准内部也表现出高方差。基于这些观察，我们提出了 SAVER，一个用于样本感知的相关性-多样性平衡视觉 token 缩减框架。我们首先从文本相关 token 的空间集中度中推导出几何意图先验（GIP），以推断样本特定的相关性-多样性权重，然后将该权重应用于通过加权文本质心（WTC）进行相关性评分和视觉边缘覆盖增益（VMCG）进行多样性的联合 token 选择。SAVER 无需额外训练，完全在推理时实现样本感知的平衡。大量实验表明，SAVER 在多种基准上持续优于最先进的基线，在 LLaVA-1.5-7B 上仅使用原始视觉 token 的 11.1% 即保留了全模型性能的 96.5%，并进一步泛化到 LLaVA-NeXT 和 Mini-Gemini。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16615 [cs.AI] |
| （或 arXiv:2610.16615v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16615 arXiv 颁发的 DOI 通过 DataCite（待注册） |
|
| 相关 DOI： | https://doi.org/10.1145/3767308.3836590
链接到相关资源的 DOI |
提交历史
来自：Yihang Huang [查看电子邮件]
[v1]
2026年10月12日星期一 11:31:48 UTC（702 KB）
来源：arXiv cs.AI · arxiv.org