arXiv cs.AI· Xiaolin Liu, Yilun Zhu, Xiangyu Zhao, Xuehui Wang, Yan Li, Xin Li, Haoyu Cao, Xing Sun, Shaofeng Zhang, Xu Yang, Zhihang Zhong, Xue Yang·· 2 天前AI 评分30
Moment-Video：诊断视频 MLLM 对瞬时视觉事件的时间保真度
Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events
AI 导读
研究者推出 Moment-Video 基准，用于评估视频 MLLM 对瞬时视觉事件的时间保真度，包含 1,000 个人工核验的视频问答对，覆盖 7 个领域、25 个子类及四类任务。在 34 个专有与开源 MLLM 的评测中，表现最佳的 Seed-2.0-Pro 总体准确率仅 39.6%，多数开源模型低于 25%。诊断显示，即便采样帧覆盖全部标注事件区间，模型仍存在大量错误，且视频越长性能越差。
正文 · AI 翻译
作者：Xiaolin Liu、Yilun Zhu、Xiangyu Zhao、Xuehui Wang、Yan Li、Xin Li、Haoyu Cao、Xing Sun、Shaofeng Zhang、Xu Yang、Zhihang Zhong、Xue Yang
摘要：视频多模态大语言模型（MLLM）在通用和长视频理解方面取得了快速进展，但其捕捉和利用简短、对答案至关重要的视觉证据的能力仍未得到充分探索。瞬时动作或状态转换可能决定答案，却只占视频的一小部分。仅在广泛的视频理解任务上表现良好，并不能证明模型能够可靠地识别和利用这种时间上局部化的证据。我们提出了 Moment-Video，一个通过瞬时视觉事件理解来评估时间保真度的基准。问题围绕视觉上可观察的事件或事件序列构建，要求模型注意、计数、描述或推理转瞬即逝的证据。该基准包含 1,000 个经人工验证的视频问答对，涵盖七个领域和 25 个子类别，覆盖四项任务：时间发生、时间计数、动作描述和时间推理。我们评估了 34 个专有和开源 MLLM。在主要评估设置下，表现最好的模型 Seed-2.0-Pro 达到 39.6% 的总体准确率，而大多数开源模型仍低于 25%。诊断分析表明，更密集的帧采样能改善部分模型，但即使采样帧覆盖了经审核子集中所有标注的必要事件区间，仍存在大量错误。在更长的视频上性能也会下降，表明还存在额外的时间定位挑战。通过揭示这些局限性，Moment-Video 提供了一个诊断性基准，以指导视频 MLLM 的评估和开发，使其能更可靠地理解简短、对答案至关重要的视觉事件。
| 评论： | 31 页，12 张图，12 张表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.02522 [cs.CV] |
| （或 arXiv:2606.02522v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.02522 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yilun Zhu [查看邮箱]
[v1]
2026 年 6 月 1 日星期一 17:32:20 UTC（8,465 KB）
[v2]
2026 年 10 月 14 日星期三 16:51:52 UTC（8,883 KB）
来源：arXiv cs.AI · arxiv.org