跳到正文
arXiv cs.AI· Zhang Ziyue, Juwei Jian, Baiyang Song, Yunshan Zhong, Jun Peng, Yiyi Zhou, Rongrong Ji·· 10 小时前AI 评分32

NullTok:用经验零分布做 token 选择,免训练提升长视频理解

NullTok: empirical-null token selection for training-free long video understanding

AI 导读

NullTok 是一种免训练的长视频理解方法,通过为每个 patch 构建经验零分布来校准查询相关性,在 64 个全帧等效(FFE)的视觉 token 预算下,使冻结的 LLaVA-Video-7B 和 Qwen3-VL-8B 在 Video-MME 上分别达到 65.81% 和 68.85%,均超过同预算下所有对比基线。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:长视频理解对现有多模态大语言模型(MLLMs)而言仍是一项艰巨挑战,主要原因是长视频中累积了大量视觉 token。目前,帧选择和 token 选择是解决该问题的两大主要范式,二者均旨在选取相关视觉信息,为 MLLMs 构建紧凑的输入。一种自然的思路是将这两种范式结合,即先选帧再剪枝 token,但帧级相关性估计中的噪声可能导致不可逆的证据丢失。本文从评估查询特定证据的时空分布这一视角研究该问题,并提出一种新颖且无需训练的方法 NULLTOK。对于所有帧中的每个 patch,我们利用 64 个组匹配的无关对照查询构建经验零分布,以刻画在缺乏目标特定证据时预期的得分。目标亲和度以同位置参考为基准进行校准,转换为右尾蒙特卡洛 p 值;在条件可交换性假设下,这些 p 值呈离散超均匀分布。经校准的筛选与高召回语义守卫生成候选 token,用于确定性视觉去重和联合时空预算分配。为验证 NullTok,我们将其应用于两个代表性 MLLMs,并在一系列视频基准上开展了大量实验。实验结果表明,在有限的视觉 token 预算下该方法有效。例如,在无字幕、无音频、上限为 64 个全帧等效(FFE)的条件下,使用冻结的 LLaVA-Video-7B 和 Qwen3-VL-8B 骨干网络,在 Video-MME 上分别取得 65.81% 和 68.85% 的成绩。在两个骨干网络的相同预算下,这些结果均优于 Video-MME 上所有评估基线。代码见 此 https URL。
评论: 8 页
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.23881 [cs.CV]
  (或 arXiv:2611.23881v1 [cs.CV] 查看此版本)
  https://doi.org/10.48550/arXiv.2611.23881

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Ziyue Zhang [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 05:32:52 UTC(2,619 KB)

来源:arXiv cs.AI · arxiv.org