跳到正文
arXiv cs.AI· Yuanhong Zheng, Ruichuan An, Xiaopeng Lin, Yuxing Liu, Sihan Yang, Huanyu Zhang, Haodong Li, Qintong Zhang, Renrui Zhang, Guopeng Li, Yifan Zhang, Yuheng Li, Wentao Zhang·· 10 小时前AI 评分38

PEARL:支持运行时定义概念的个性化流式视频理解模型

PEARL: Personalized Streaming Video Understanding with Runtime-Defined Concepts

AI 导读

PEARL 是一个即插即用的个性化流式视频理解基线,可在视频流任意时间点注册用户定义的概念并检索其历史出现片段。研究同时提出首个该任务基准 PSVU-Bench(132 个视频、带时间戳问答)和训练集 PSVU-10K。

正文 · AI 翻译

作者:Yuanhong Zheng、Ruichuan An、Xiaopeng Lin、Yuxing Liu、Sihan Yang、Huanyu Zhang、Haodong Li、Qintong Zhang、Renrui Zhang、Guopeng Li、Yifan Zhang、Yuheng Li、Wentao Zhang

查看 PDF HTML(实验性)

摘要:与人类从连续视觉流中学习新概念不同,现有的个性化视觉语言模型(VLM)在训练期间内化一组预定义的概念,并在静态图像或离线视频上运行。它们无法注册用户在流中途定义的概念,也无法回忆该概念出现的较早时刻。我们将此任务形式化为个性化流式视频理解(PSVU),并推出首个针对该任务的基准 PSVU-Bench,它标注了 132 个视频并配有带时间戳的问题。其概念定义、实时和过去时 QA 要求模型在任意时间戳注册概念,识别其当前状态(包括用户定义的动作),并检索其历史证据。我们提出 PEARL,一个强大的即插即用基线,它将用户定义的概念与归档视频片段分开存储,并用概念描述重写每个查询以检索相关历史。在视频中定位一个命名概念是所有概念共享的技能。因此,我们构建了 PSVU-10K,这是一个基于公开互联网视频的经过验证的概念问题训练集,并在其上一次性训练 PEARL 的检索器和回答 VLM。测试时定义的概念仍然无需训练。在无需训练的情况下应用于三种架构,PEARL 在实时 QA 上比相应的离线模型平均提升 15.05%,在过去时 QA 上平均提升 12.60%,且三者在这两种 QA 类型上均超越了现有的在线视频模型。训练进一步使 PEARL 在 Qwen3-VL-8B 上于实时 QA 提升 8.66%,在过去时 QA 提升 9.39%,且每个类别均有增益。代码、数据和模型可在 此 https URL 获取。
评论: Arxiv 提交 v2
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);信息检索(cs.IR)
引用为: arXiv:2603.20422 [cs.CV]
  (或 arXiv:2603.20422v2 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2603.20422

arXiv 颁发的 DOI 通过 DataCite

提交历史

来自:Yuanhong Zheng [查看电子邮件]
[v1] 2026年3月20日星期五 18:47:54 UTC(8,786 KB)
[v2] 2026年11月18日星期三 09:30:33 UTC(16,683 KB)

来源:arXiv cs.AI · arxiv.org