arXiv cs.AI· Zhenqi He, Dunyuan Xu, Yang Bo, Kien T. Pham, Yanghao Wang, Shuhan Li, Xintong Guo, Yuyang He, Fang Liu, Huankang Guan, Jingyan Chen, Rui Liu, Long Chen·· 1 天前AI 评分26
MemInStream：流式视频理解该“记住”还是仅“认出”？重思记忆评测
MemInStream: Memorizing or Merely Recognizing? Rethinking Streaming Video Memory Evaluation
AI 导读
研究者提出 MemInStream，一个专门评估流式视频理解记忆能力的基准，通过证据可控验证协议为每题绑定时间局部化的证据区间，只保留模型能凭标注证据作答、却无法靠近期观察、证据后观察或纯文本回答的问题。该基准覆盖情景检索、状态跟踪与更新、多证据整合、上下文记忆四大类，旨在把记忆局限与视觉理解失败区分开，减少不依赖记忆的捷径。
正文 · AI 翻译
作者：Zhenqi He、Dunyuan Xu、Yang Bo、Kien T. Pham、Yanghao Wang、Shuhan Li、Xintong Guo、Yuyang He、Fang Liu、Huankang Guan、Jingyan Chen、Rui Liu、Long Chen
摘要：流式视频理解旨在持续处理不断到来的视觉观察，随着视频历史不断增长，相关信息的保留与检索变得愈发重要。尽管现有基准包含与记忆相关的问题，但仅凭问答准确率并不能可靠地衡量记忆能力。错误的预测可能源于视觉理解的失败而非遗忘，而正确的预测可能依赖语言先验或近期观察，并不需要历史记忆。为解决这些歧义，我们提出了 MemInStream，一个专门用于评估流式视频理解中记忆能力的基准。我们开发了一种证据受控的验证协议，将每个问题与时间上局部化的证据区间相关联。该协议通过保留模型能够根据标注证据回答、但无法仅凭近期观察、证据后观察或文本输入解决的问题，来验证证据可解性和记忆必要性。这有助于将记忆局限与理解失败区分开来，同时减少与记忆无关的捷径。MemInStream 通过四大类别对记忆能力进行系统评估，涵盖情景检索、状态跟踪与更新、多证据整合以及跨多样视频场景的上下文记忆。总体而言，\textsc{MemInStream} 为系统评估流式视频理解中的记忆能力提供了一个全面且可靠的基准。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.15640 [cs.CV] |
| （或本版本的 arXiv:2611.15640v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2611.15640 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhenqi He [查看邮箱]
[v1]
2026年11月11日星期三 15:52:19 UTC（1,349 KB）
来源：arXiv cs.AI · arxiv.org