HIMMEL：面向长视频理解的分层交错多流运动编码框架

作者：Haopeng Jin、Wenlong Zhao、Tao Yu、Tiankun Yang、Zhenyu Guan、ShiQuan Dong、Yujia Yang、Shani Ye、Chubin Chen、Hongzhu Yi、Jinwen Luo

查看 PDF HTML（实验性）

摘要：使用多模态语言模型进行长视频理解面临三个相互叠加的瓶颈：获取密集 RGB 帧的高昂解码成本、token 数量随帧数增长，以及稀疏关键帧采样下运动感知能力薄弱。现有补救方法要么在解码后剪枝视觉 token，这并未触及昂贵的 RGB 流程；要么用生成式 tokeniser 将编解码器运动矢量离散化，这使运动建模与繁重的预训练阶段相耦合。在本文中，我们提出 HIMMEL，一种分层视频-语言框架，将语义与运动容量分配到不同路径上。少量稀疏语义锚帧被路由到昂贵的主机 ViT，以确定物体身份和场景布局；而密集得多的帧间区间则由轻量级压缩域三流适配器编码，该适配器从运动矢量图、残差图和 I 帧上下文分支中提取运动证据，并将其蒸馏为对齐的运动 token。经过专门的 Stage 1 对比对齐，将运动表示置于与冻结视觉骨干兼容的几何空间中后，这些 token 通过可微占位符机制注入 LLM。我们进一步表明，InfoNCE 对齐目标比 MSE 回归高出 +1.5 个百分点。在 Video-MME 上，HIMMEL 比密集 32 帧基线高出 +2.3 个百分点（61.2 提升至 63.5%），同时使用的上下文 token 减少 3.6 倍，端到端每个问题运行时间为 1.03 秒，而非 2.75 秒。切换到更强的 Qwen3-VL-8B 主机后，HIMMEL 提升至 64.9%，缩小了与规模大得多的专有系统之间的差距，同时推理仍在单块 NVIDIA H20 GPU 上运行。跨流组成、运动编码器家族、融合模式、对齐目标、锚帧数量、LoRA 秩和视频时长的广泛消融实验证实，完整三流对观察到的增益均有贡献，且收益随视频长度增长。

Comments:	修订版技术报告。本工作的会议版本已被 NeurIPS 2026 接收。代码：this https URL
Subjects:	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）
ACM classes:	I.2.10; I.4.8; I.5.4
Cite as:	arXiv:2605.08158 [cs.CV]
	（或 arXiv:2605.08158v2 [cs.CV] 对应本版本）
	https://doi.org/10.48550/arXiv.2605.08158 由 DataCite 颁发的 arXiv DOI

Submission history

来自：Haopeng Jin [查看邮箱]
[v1] 2026年5月4日星期一 09:35:25 UTC（21,493 KB）
[v2] 2026年10月10日星期六 03:53:47 UTC（45,267 KB）