arXiv cs.AI· Dan Ben-Ami, Gabriele Serussi, Kobi Cohen, Chaim Baskin·· 14 小时前AI 评分34
HiMu：面向长视频问答的层次化多模态帧选择框架
HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering
AI 导读
HiMu 是一个免训练的多模态帧选择框架，用单次纯文本 LLM 调用将查询分解为层次逻辑树，叶子节点路由到视觉（CLIP、开放词汇检测、OCR）与音频（语音识别、非语音声音匹配）专家，再经模糊逻辑算子自底向上组合出逐帧满足度曲线。
正文 · AI 翻译
摘要：长视频问答需要在扩展的时间上下文中进行推理，这使得帧选择成为受有限上下文窗口约束的多模态大语言模型（MLLM）的关键瓶颈。在支配实际部署的受控帧预算机制下，先前的选择器针对单一全局查询嵌入对帧进行评分；因此，涉及时间顺序或跨模态线索的组合式多模态问题（例如“在旁白提到该反应之后，屏幕上紧接着发生了什么？”）会被扁平化为一种丢失子事件顺序和模态绑定的表示。我们提出 HiMu，一个无需训练的组合式多模态帧选择框架。一次纯文本 LLM 调用将查询分解为分层逻辑树，其叶子是原子谓词，每个谓词被路由到一个轻量级专家，涵盖视觉（CLIP、开放词汇检测、OCR）和音频（语音识别与非语音声音匹配）。专家信号经过归一化、平滑以跨模态对齐，并通过模糊逻辑算子自底向上组合，这些算子强制时间顺序和相邻性，从而产生连续的逐帧满足度曲线。在 Video-MME、LongVideoBench 和 HERBench-Lite 的标准 16 帧预算下，HiMu 在帧选择方法中取得了最先进的准确率，并作为即插即用模块在七个不同的 MLLM 上优于均匀采样，在 4 倍帧预算下达到与均匀采样相同的准确率，且无需重新训练，也无需在选择过程中进行多次迭代 MLLM 调用。
| 评论： | 已被 WACV 2027 接收。项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.18558 [cs.CV] |
| （或 arXiv:2603.18558v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.18558 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Dan Ben Ami [查看电子邮件]
[v1]
2026年3月19日星期四 07:11:53 UTC（26,841 KB）
[v2]
2026年6月26日星期五 08:15:42 UTC（29,262 KB）
[v3]
2026年10月25日星期日 06:01:15 UTC（6,517 KB）
来源：arXiv cs.AI · arxiv.org