HiMu：免训练分层多模态视频帧选择框架

Dan Ben-Ami 等作者提出 HiMu，一个无需训练的多模态视频帧选择框架，用于长视频问答中的帧选择。据其论文，该方法用单次纯文本 LLM 调用把查询分解为层次逻辑树，叶子节点分别交给视觉专家（CLIP、开放词汇检测、OCR）和音频专家（语音识别、非语音声音匹配）处理，再通过模糊逻辑算子自底向上组合，得到逐帧满足度曲线。 该框架目前以预印本形式发布，尚无实验结果的独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。