arXiv cs.AI· Junzhang Liu, Hao Yuan, Qi Zhang, Yiming Wu, Long Chen, Zhecan Wang·· 14 小时前AI 评分31
LARVA：联合潜在推理与视觉观察的智能体视频理解框架
Joint Latent Reasoning and Observation for Agentic Video Understanding
AI 导读
LARVA 框架通过联合学习潜在推理与视觉观察来蒸馏多轮视频智能体，观察者以紧凑连续表示向推理器传递信息，而非依赖文本描述。在 VideoHolmes、Video-MME 和 LVBench 上，7B 模型分别比同教师轨迹训练的文本 CoT 学生高出 5.1、2.5 和 3.7 个百分点。该框架在五个视频理解基准上以 4B 和 7B 骨干取得强劲表现。
正文 · AI 翻译
摘要：有效的视频智能体不仅要学会如何回答，还要学会下一步该看哪里。将这一能力迁移到更小的模型上颇具挑战，因为每一次观察都服务于两个目的：支撑答案，以及引导对进一步证据的搜索。文本描述可能捕捉到当前可见的内容，却遗漏了后续获取所需的线索。我们提出面向视频分析的潜在智能体推理（LARVA），这是一个通过联合学习潜在推理与视觉观察来蒸馏多轮视频智能体的框架。观察者不再通过字幕进行交流，而是将紧凑的连续表示传递给推理器，由推理器选择下一个获取动作或给出最终答案。关键在于，动作与答案的监督信号会通过这一接口传播，从而训练观察者传递对下游决策有用的信息。观察重建与推理分布对齐则从文本教师轨迹中提供辅助监督。在五个视频理解基准上，LARVA 以 4B 和 7B 骨干模型取得了强劲表现。在 VideoHolmes、Video-MME 和 LVBench 上，7B 模型分别比在相同教师轨迹上训练的文本 CoT 学生模型高出 5.1、2.5 和 3.7 个百分点。这些结果凸显了在蒸馏视频理解能力时，联合学习智能体如何表示证据并据此行动的价值。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.35229 [cs.CV] |
| （或 arXiv:2610.35229v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35229 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junzhang Liu [查看邮箱]
[v1]
2026年10月26日星期一 11:18:58 UTC（439 KB）
来源：arXiv cs.AI · arxiv.org