跳到正文
arXiv cs.AI· Luoyuan Zhang, Xuanyu Zheng, Yancheng Long, Haoyang Xu, Bin Wen, Tingting Gao·· 10 小时前AI 评分31

VideoACE:面向高帧率动作的智能体视频理解基准

VideoACE: Benchmarking Agentic Video Understanding through High-Frame-Rate Actions

AI 导读

VideoACE 是一个评估智能体视频理解能力的基准,聚焦高帧率动作视频,包含 1,000 道覆盖六类细粒度动作理解的多选题,并配有时间证据标注和经答案泄漏筛查的用户提示。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:智能体式视频理解要求模型主动与视频环境交互,以收集证据并形成判断。因此,评估这一能力需要考察模型能否将交互机会转化为更好的理解。我们提出 VideoACE,这是一个在支持持续交互的条件下评估视频理解的基准。我们聚焦于高帧率动作视频,其中快速、细微的变化使针对性观察尤为有价值。该基准包含 1,000 道多项选择题,涵盖六类细粒度动作理解,并附有时间证据标注和经过答案泄露筛查的用户提示。其评估环境将视频检查工具与用户模拟器相结合,使模型能够调整时间覆盖范围、采样密度和空间细节,并在模拟用户反馈下重新查看证据、修正判断。我们评估了单次观察、自主工具使用以及工具使用结合用户反馈三种方式,以考察模型利用这些机会的有效程度。对五个模型的评估揭示了它们在获取证据和回应进一步交互机会方面的不同模式。这些发现确立了 VideoACE 作为测试平台的地位,用于考察超越固定观察设置下性能的智能体式视频理解。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);多媒体(cs.MM)
引用为: arXiv:2611.24184 [cs.CV]
  (或 arXiv:2611.24184v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24184

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Luoyuan Zhang [查看邮箱]
[v1] 2026年11月18日星期三 10:26:07 UTC(3,669 KB)

来源:arXiv cs.AI · arxiv.org