arXiv cs.CL· Daeun Lee, Subhojyoti Mukherjee, Branislav Kveton, Ryan A. Rossi, Viet Dac Lai, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Mohit Bansal·· 11 小时前AI 评分31
StreamGaze：首个评估 MLLM 在流式视频中利用视线进行时序与主动推理的基准
StreamGaze: Gaze-Guided Temporal Reasoning and Proactive Understanding in Streaming Videos
AI 导读
StreamGaze 是首个评估多模态大语言模型（MLLM）如何在流式视频中利用人类视线信号进行时序与主动推理的基准，涵盖过去、现在与主动预测三类任务。该基准通过注视点提取、区域视觉提示和扫描路径构建，将第一人称视频与原始视线轨迹对齐，生成时空接地的 QA 对。在所有任务上，SOTA MLLM 与人类表现存在显著差距，暴露了视线时序推理、意图建模与主动预测的局限。
正文 · AI 翻译
摘要：流式视频理解要求模型不仅能处理随时间到来的帧，还要能预判用户意图，以支持增强现实（AR）眼镜等现实应用。此前的流式基准测试评估了时间推理，但均未衡量多模态大语言模型（MLLMs）能否在流式场景中解读或利用人类注视信号。为填补这一空白，我们推出 StreamGaze，这是首个旨在评估 MLLMs 在流式视频中如何有效利用注视进行时间推理与主动推理的基准。StreamGaze 引入了注视引导的过去、现在和主动任务，全面评估流式视频理解。过去和现在任务要求基于查询时刻可获得的观察立即作答，而主动任务要求模型持续处理到来的帧，并在适当的未来时刻作出响应。为构建 StreamGaze，我们开发了一条注视-视频问答（QA）生成流水线，通过注视点提取、区域特定视觉提示和扫视路径构建，将自我中心视频与原始注视轨迹对齐。该流水线生成具有时空依据、反映人类感知动态的问答对。在 StreamGaze 的所有任务中，我们观察到最先进的 MLLMs 与人类表现之间存在显著性能差距，凸显了在基于注视的时间推理、意图建模和主动预测方面的关键局限。我们进一步详细分析了注视提示策略、推理行为和任务特定的失败模式，为当前局限和未来研究方向提供了洞见。所有数据和代码均已公开，以支持注视引导的流式视频理解研究。
| 评论： | 已被第 40 届神经信息处理系统年会（NeurIPS 2026）接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2512.01707 [cs.CV] |
| （或本版本的 arXiv:2512.01707v4 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2512.01707 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Daeun Lee [查看邮箱]
[v1]
2025 年 12 月 1 日星期一 14:15:44 UTC（4,693 KB）
[v2]
2026 年 3 月 27 日星期五 17:30:08 UTC（4,748 KB）
[v3]
2026 年 5 月 13 日星期三 04:12:19 UTC（4,748 KB）
[v4]
2026 年 11 月 5 日星期四 15:52:54 UTC（5,323 KB）
来源：arXiv cs.CL · arxiv.org