arXiv cs.AI· Xinyu Deng, Siwen Luo, Daochang Liu·· 12 小时前AI 评分31
视频理解智能体综述:从固定推理到主动决策的系统梳理
Agentic Video Understanding: A Survey
AI 导读
一篇被 DICTA 2026 接收的综述系统梳理了视频理解智能体——以视频为主要信息源、通过自适应状态构建与动作选择完成理解任务的系统。文章形式化定义了视频理解的智能体循环,并用“挑战到设计”的分类法把上下文瓶颈、证据稀疏、时序因果和多模态歧义分别对应到分层证据记忆、主动证据获取、状态与过程跟踪、角色专门化协作。
正文 · AI 翻译
摘要:随着大型语言模型(LLM)能够处理日益多样的模态和更长的时间上下文,一个新兴的研究方向正在超越固定的视频-语言推理,转向能够主动决定检查、保留、验证哪些信息并据此采取行动的智能体系统。本综述回顾了视频理解智能体:这类系统以视频为主要信息来源,通过自适应状态构建和动作选择来解决理解任务。我们首先形式化了一个用于视频理解的智能体循环,然后探讨一个核心问题:为什么智能体对视频理解很重要?为回答这一问题,我们通过“挑战到设计”的分类体系来组织文献,将上下文瓶颈与分层证据记忆、证据稀疏性与主动证据获取、时间因果性与状态和过程跟踪、多模态歧义性与角色专门化协调分别联系起来。我们进一步回顾了状态空间范式、学习范式、监督信号、基准和评估协议。最后,我们指出了通向智能体原生时间建模和视频原生智能体的开放方向。项目页面:this https URL
| Comments: | 15 页,3 幅图,已被 DICTA 2026 接收;修订了图 2 以纠正分类体系中的不一致之处 |
| Subjects: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| Cite as: | arXiv:2609.31713 [cs.CV] |
| (或 arXiv:2609.31713v2 [cs.CV] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2609.31713 arXiv 颁发的 DOI,经由 DataCite |
Submission history
来自:Xinyu Deng [查看邮箱]
[v1]
2026 年 9 月 21 日星期一 02:58:10 UTC(5,033 KB)
[v2]
2026 年 10 月 21 日星期三 02:49:27 UTC(5,031 KB)
来源:arXiv cs.AI · arxiv.org