跳到正文
arXiv cs.AI· Tengda Guo, Jie Leng, Hanlei Li, Yaoyuan Liang, Qingyue Zhang, Dian Yang, Mingyu Zhang, Yuhua Fu, Shao-Lun Huang·· 12 小时前AI 评分29

CAVE:面向碎片化视觉证据推理的结构化信用分配方法

CAVE: A Structured Credit Assignment Approach for Fragmented Visual Evidence Reasoning

AI 导读

研究者提出 CAVE,一种基于 GRPO 的结构化过程奖励方法,通过信念更新、证据获取和自适应焦点控制三类信号在动作层面评估中间步骤贡献,用于交错式视觉推理。团队同时构建 TRACER-Bench,覆盖四个非局部且语义易混淆的推理维度并提供关键中间证据。实验显示 CAVE 在碎片化视觉证据整合任务上显著提升,在通用多模态评测上保持竞争力。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉语言模型(VLM)在通用多模态推理上已取得强劲表现,但在整合非局部视觉信息以支持语义欠定的视觉推理方面仍面临挑战。我们将这一挑战称为碎片化视觉推理。为此,我们提出视觉证据信用分配(CAVE),一种基于 GRPO 的结构化过程奖励方法,用于交错式视觉推理。具体而言,CAVE 通过三种互补的推理过程信号在动作层面评估中间步骤的贡献:信念更新、证据获取和自适应焦点控制,从而引导模型优化每个推理动作并学习更可靠的视觉推理策略。同时,我们构建了 TRACER-Bench,涵盖四个非局部且语义易混淆的推理维度,并提供关键的中间证据以监督推理路径。实验表明,CAVE 在需要碎片化视觉证据整合的任务上显著提升了性能,涵盖公开基准和我们新提出的 TRACER-Bench,同时在通用多模态评测上保持有竞争力的表现。进一步分析表明,CAVE 有效提升了视觉推理能力,并在更长程、更深层的跨区域依赖下表现出更强的鲁棒性。
评论: 24 页,6 张图。预印本
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2605.16416 [cs.CV]
  (或 arXiv:2605.16416v2 [cs.CV] 为本版本)
  https://doi.org/10.48550/arXiv.2605.16416

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Tengda Guo [查看邮箱]
[v1] 2026 年 5 月 13 日星期三 16:50:24 UTC(22,726 KB)
[v2] 2026 年 10 月 21 日星期三 09:09:33 UTC(22,726 KB)

来源:arXiv cs.AI · arxiv.org