arXiv cs.AI· Runquan Gui, Hanzhu Chen, Zehao Wang, Hanxin Zhu, Xin Li, Zhibo Chen·· 9 天前AI 评分30
VAMR：面向高效长视频理解的多问题智能体推理
VAMR: Multi-Question Agentic Reasoning for Efficient Long-Form Video Understanding
AI 导读
VAMR 通过一条共享的工具调用轨迹统一处理同一长视频的多个问题，避免每个问题各自重启视频探索与记忆构建。在 LVBench、Video-Holmes 和 LongVideoBench 上，VAMR 总体准确率最高且迭代方法中推理轮数最少；LVBench 上达 62.1%，超 VideoARM 4.3 分，推理轮数与处理帧数分别减少 85.9% 和 61.4%。
正文 · AI 翻译
摘要：长视频理解通常涉及对同一录像不同方面的多个问题。然而，现有的视频智能体通常通过孤立的工具使用轨迹处理每个问题。这会反复重启视频探索和记忆构建，错失联合获取证据并逐步构建支持完整问题集的共享理解的机会。我们提出 \textbf{VAMR}（\textbf{V}ideo \textbf{A}gent for \textbf{M}ulti-Question \textbf{R}easoning），它通过一条共享的工具使用轨迹协调关于一个视频的所有问题。在每一轮中，一个持续的策略模型可以为一个或多个未解决的问题调用工具，并为证据充分的问题提交答案。以问题为条件的视觉感知在一次调用中为多个问题检索细粒度线索，而分层多问题记忆将可复用的上下文整合为共享的视频故事，并为各个问题保留单独的证据。在监督微调初始化这一交互协议后，我们提出 question-horizon policy optimization（\qhpo），以优化问题在不同轮次推进并完成的共享轨迹。具体而言，问题级评论家估计每个活跃问题的价值，而轮次对齐将每个问题优势映射到直接服务于它的轮次，然后将对齐后的优势聚合以优化共享执行者。在 LVBench、Video-Holmes 和 LongVideoBench 上，VAMR 总体准确率最高，并且在迭代方法中推理轮次最少。在 LVBench 上，它达到 62.1\% 的准确率，超过 VideoARM \textbf{4.3} 个百分点，同时将推理轮次和处理帧数分别减少 \textbf{85.9\%} 和 \textbf{61.4\%}。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11171 [cs.CV] |
| （或 arXiv:2610.11171v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11171 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Runquan Gui [查看电子邮件]
[v1]
2026年10月8日星期四 03:26:54 UTC（275 KB）
来源：arXiv cs.AI · arxiv.org