StreamGaze：首个注视引导流式视频理解基准

Daeun Lee 等作者发布 StreamGaze，称其为首个评估多模态大语言模型（MLLM）如何在流式视频中利用人类视线进行时序与主动推理的基准。基准将第一人称视频与原始视线轨迹对齐，经注视点提取、区域视觉提示和扫描路径构建，生成时空接地的问答对，任务覆盖过去、现在与主动预测三类。 作者称，在全部任务上，当前最先进的 MLLM 与人类表现存在显著差距，暴露出模型在视线时序推理、意图建模与主动预测上的局限。全部数据和代码已公开，供注视引导的流式视频理解研究使用。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。