跳到正文
arXiv cs.AI· Xinyu Deng, Siwen Luo, Daochang Liu·· 12 小时前AI 评分31

视频理解智能体综述:从固定推理到主动决策的系统梳理

Agentic Video Understanding: A Survey

AI 导读

一篇被 DICTA 2026 接收的综述系统梳理了视频理解智能体——以视频为主要信息源、通过自适应状态构建与动作选择完成理解任务的系统。文章形式化定义了视频理解的智能体循环,并用“挑战到设计”的分类法把上下文瓶颈、证据稀疏、时序因果和多模态歧义分别对应到分层证据记忆、主动证据获取、状态与过程跟踪、角色专门化协作。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:随着大型语言模型(LLM)能够处理日益多样的模态和更长的时间上下文,一个新兴的研究方向正在超越固定的视频-语言推理,转向能够主动决定检查、保留、验证哪些信息并据此采取行动的智能体系统。本综述回顾了视频理解智能体:这类系统以视频为主要信息来源,通过自适应状态构建和动作选择来解决理解任务。我们首先形式化了一个用于视频理解的智能体循环,然后探讨一个核心问题:为什么智能体对视频理解很重要?为回答这一问题,我们通过“挑战到设计”的分类体系来组织文献,将上下文瓶颈与分层证据记忆、证据稀疏性与主动证据获取、时间因果性与状态和过程跟踪、多模态歧义性与角色专门化协调分别联系起来。我们进一步回顾了状态空间范式、学习范式、监督信号、基准和评估协议。最后,我们指出了通向智能体原生时间建模和视频原生智能体的开放方向。项目页面:this https URL
Comments: 15 页,3 幅图,已被 DICTA 2026 接收;修订了图 2 以纠正分类体系中的不一致之处
Subjects: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
Cite as: arXiv:2609.31713 [cs.CV]
  (或 arXiv:2609.31713v2 [cs.CV] 查看此版本)
  https://doi.org/10.48550/arXiv.2609.31713

arXiv 颁发的 DOI,经由 DataCite

Submission history

来自:Xinyu Deng [查看邮箱]
[v1] 2026 年 9 月 21 日星期一 02:58:10 UTC(5,033 KB)
[v2] 2026 年 10 月 21 日星期三 02:49:27 UTC(5,031 KB)

来源:arXiv cs.AI · arxiv.org