arXiv cs.CL· Shaden Shaar, Bradon Thymes, Majd Aldaye, Claire Cardie, Bharath Hariharan·· 10 小时前AI 评分38
LF-VideoQA：用长篇心智理论问题评测长视频理解
LF-VideoQA: Evaluating Long-Video Understanding with Long-Form Theory-of-Mind Questions
AI 导读
研究者发布 LF-VideoQA，一个面向长叙事视频的长篇开放式问答数据集，包含 94 部近期电影的 6300 多个问题，每题需跨平均 23 分钟的场景推理，并配有按召回率与精确率打分的题目专属评分标准。
正文 · AI 翻译
摘要：理解长视频最难的部分不是定位某一个时刻，而是综合许多信息，例如回答一个需要追踪数小时内容中逐步发展的情况、并阐明各部分如何拼合在一起的问题。迄今为止，大多数长视频问答数据集只要求简短答案或多项选择，把长视频理解任务过度简化为检索。我们提出 LF-VideoQA，这是一个面向长叙事视频的长篇开放式问答数据集，基于心理理论问题构建：角色的信念取决于其所见或所闻的一切，因此每个问题都要求汇集并推理分散在视频各处的证据。该数据集包含针对 94 部近期电影的 6,300 多个问题；每个问题都需要对平均跨度 23 分钟的场景进行推理，并附带针对具体问题的评分标准，用于召回率和精确率评分。该数据集完全自动创建：为剧本标注场景事件以及每个角色的一阶信念和元信念，然后通过基于 LLM 的问题生成与验证生成（问题、答案、评分标准）三元组；人类研究验证了其质量。我们在三种设置下评估了四类最先进的开源 VLM，发现该任务极具挑战性：(i) 即使是可以访问剧本的 oracle 也远未达到完整答案；(ii) 最佳非 oracle 模型仅达到 oracle 召回水平的一半左右；(iii) 与以往的长视频基准不同，字幕和副标题的表现不如视频本身，这表明这些问题需要视觉证据；(iv) 召回率是主要瓶颈，答案遗漏了许多必需的评分标准要点。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00383 [cs.CV] |
| （或 arXiv:2611.00383v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00383 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shaden Shaar [查看电子邮件]
[v1]
2026年10月30日星期五 21:05:36 UTC（2,838 KB）
来源：arXiv cs.CL · arxiv.org