跳到正文
arXiv cs.AI· Junming Liu, Yuqi Li, Yifei Sun, Maonan Wang, Yiming Cheng, Rui Qian, Piotr Koniusz, Yirong Chen, Ding Wang·· 9 天前AI 评分23

SAGE:通过几何逻辑一致性实现视觉语言模型自演化空间推理

Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency

AI 导读

研究者提出 Spatial Alignment via Geometric Evolution(SAGE),一个通过几何与语言对偶操作提升视觉语言模型鲁棒空间推理的自演化框架。SAGE 将对偶一致性引入 GRPO 训练,并协同演化对偶生成与求解,配合动态操作池聚焦高信息量信号。该框架与模型无关、数据高效,可作为轻量适配阶段应用于任意现有 VLM,在视频与空间推理基准上持续优于强基线。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉语言模型(VLM)已取得显著进展,但其空间推理仍然脆弱。能够正确回答原始输入的模型,在具有可预测答案映射的有效变换下仍可能失败,这揭示了实例级正确性与稳健空间推理之间的差距。为解决这一问题,我们提出了通过几何演化实现空间对齐(SAGE),这是一个通过几何与语言对偶操作来提升稳健空间推理的自演化框架。SAGE 将对偶一致性融入 GRPO 训练,鼓励模型在原始输入和变换输入上产生连贯的答案。SAGE 协同演化对偶生成与求解,使模型能够持续暴露并解决自身的推理弱点。动态操作池识别具有挑战性的操作并淘汰已掌握的操作,使训练聚焦于有信息量的对偶信号。SAGE 与模型无关,相比先前的后训练方法具有数据高效性,并可作为轻量级适配阶段应用于任何现有 VLM。在视频和空间推理基准上的实验表明,相比强基线有一致的改进,并增强了对未见数据的泛化能力。
评论: 36 页,7 幅图,14 张表
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2605.18162 [cs.CV]
  (或 arXiv:2605.18162v2 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2605.18162

arXiv 颁发的 DOI 通过 DataCite

提交历史

来自:Junming Liu [查看邮箱]
[v1] 2026年5月18日星期一 10:05:21 UTC(14,921 KB)
[v2] 2026年10月8日星期四 08:45:44 UTC(16,179 KB)

来源:arXiv cs.AI · arxiv.org