arXiv cs.AI· Shilong Li, Xingyuan Bu, Hao Shi, Yun Xing, Weixin Feng, Qiangpeng Yang, Shilei Wen·· 12 小时前AI 评分34
VideoLVR：基于视频证据的潜在视觉推理
VideoLVR: Latent Visual Reasoning over Grounded Video Evidence
AI 导读
VideoLVR 通过从视频关键片段的局部区域构建潜在视觉证据，为多模态大模型的中间推理步骤提供视觉支撑，缓解语言推理链中的视觉遗忘问题。该方法引入视觉 token 预测目标，将视觉 token 重建表述为对输入视频词表的预测，使视觉证据重建与文本生成统一在同一 token 预测框架内。
正文 · AI 翻译
摘要：思维链推理显著提升了多模态大语言模型（MLLMs）中的视频理解能力。然而，基于语言的推理轨迹并不能为模型提供一种可靠机制来重新审视相关的视觉证据，从而导致视觉遗忘，并损害其对视频内容进行推理的能力。现有方法主要通过两种方式在推理过程中保持视觉接地：要么使用文本坐标来指代证据，而文本坐标指定的是符号位置而非视觉内容本身；要么将裁剪区域或帧重新插入多模态上下文，虽保留了视觉细节，却以大幅扩展上下文为代价。为解决这些局限，我们提出了 VideoLVR，它从相关视频时刻的局部区域构建潜在视觉证据，从而为中间推理步骤提供视觉支持。为监督潜在视觉证据的生成，我们引入了一种视觉 token 预测目标，将视觉 token 重建表述为对由输入视频导出的词表进行预测，从而在同一 token 预测框架内统一视觉证据重建与文本生成。这一共享预测框架使 MLLMs 能够对交错的文本 token 和潜在视觉状态进行推理，同时整合来自不同时刻的证据。我们进一步将 VideoLVR 扩展到强化学习，将采样的视觉 token 与文本 token 一同视为动作，并利用最终答案奖励联合优化策略。通过在推理过程中高效地重新审视任务相关的视觉信息，VideoLVR 在不显著扩展多模态上下文的情况下提升了视频理解能力。在多个视频基准上的实验证明了其有效性，尤其是在需要细粒度视觉证据的任务上。
| 评论： | 13 页 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37613 [cs.CV] |
| （或本版本的 arXiv:2610.37613v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.37613 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shilong Li [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 17:41:56 UTC（1,394 KB）
来源：arXiv cs.AI · arxiv.org