arXiv cs.AI· Paribesh Regmi, Qingshuang Chen, Chi Zhang, Heba Aly, Yelin Kim, Hongda Mao·· 2 天前AI 评分31
面向视频语言模型的内容感知自适应 Token 剪枝
Content-Aware Adaptive Token Pruning for Video-Language Models
AI 导读
研究者提出一种面向视频语言模型的自适应 Token 剪枝策略，根据每个视频的内容动态决定剪枝比例，通过分析 token 嵌入向量的相关性结构量化冗余，为动态场景保留更多 token、对重复或静态内容更激进地剪枝。该方法完全后置，无需额外训练或微调，在仅保留 10% token 时视频描述基准准确率提升 7%，同时计算量减少 95% TFLOPs。
正文 · AI 翻译
摘要：视觉语言模型在图像和视频理解方面表现出色，但由于每张图像需要处理数千个 token，推理延迟较高，限制了其在资源受限的边缘设备和实时监控应用中的部署。这一挑战在视频处理中进一步加剧，因为必须同时分析多帧。现有的 token 缩减技术通常依赖对所有输入统一应用固定的剪枝比例，这并非最优，因为不同视频之间的冗余程度可能差异显著，需要依赖内容的剪枝水平以保留关键信息。为解决这些局限，我们提出了一种专为视频处理设计的自适应 token 剪枝策略。关键在于，剪枝比例根据每个视频的内容自适应确定。这是通过分析 token 嵌入的相关结构来量化冗余实现的，从而实现动态 token 分配，为动态场景保留更多 token，同时积极剪枝重复或静态内容。重要的是，我们的方法完全是事后方法，无需额外训练或微调，同时取得了显著的实证收益；值得注意的是，在 10\% token 保留率下，它在视频字幕基准上提高了 +7\% 的准确率，同时将计算 TFLOPs 降低了 95\%。
| 学科： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2608.03112 [cs.CV] |
| （或 arXiv:2608.03112v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2608.03112 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Paribesh Regmi [查看电子邮件]
[v1]
2026年8月4日星期二 04:32:48 UTC（2,436 KB）
[v2]
2026年10月25日星期日 20:48:02 UTC（2,496 KB）
来源：arXiv cs.AI · arxiv.org