跳到正文
arXiv cs.CL· Shoubin Yu, Yue Zhang, Zun Wang, Jaehong Yoon, Huaxiu Yao, Mingyu Ding, Mohit Bansal·· 10 小时前AI 评分32

AVIC:用世界模型自适应控制测试时视觉想象,提升多模态模型空间推理

When and How Much to Imagine: Adaptive Test-Time Scaling with World Models for Visual Spatial Reasoning

AI 导读

研究提出 AVIC 自适应测试时框架,先判断当前视觉证据是否充分,再选择性调用并缩放世界模型进行视觉想象。其 AVIC-R 版本通过 GRPO 以答案正确性奖励和想象成本惩罚训练该决策策略,无需标注何时该想象、该想象多少。在 SAT、MMSI 空间推理基准和 R2R 具身导航基准上,AVIC-R 超过 GPT-4o 和 GPT-4.1 等闭源基线,且调用世界模型次数更少。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:尽管 MLLM 取得了快速进展,但当正确答案取决于场景在未见或替代视角下会如何呈现时,视觉空间推理仍然不可靠。近期工作通过引入世界模型进行视觉想象来增强推理,以此解决这一问题,但诸如想象何时才真正必要、多少想象有益、何时想象会变得有害等问题仍鲜有理解。在实践中,不加区分的想象会增加计算量,甚至因引入误导性证据而降低性能。在本工作中,我们对测试时视觉想象作为空间推理的可控资源进行了深入分析。我们首先研究静态视觉证据何时足够、想象何时能改善推理,以及过度或不必要的想象如何影响准确率和效率。为支持这一分析,我们随后引入 AVIC,这是一个带有世界模型的自适应测试时框架,它在选择性调用和缩放视觉想象之前,显式推理当前视觉证据的充分性。最后,为了在没有任何关于何时想象以及想象多少的标注的情况下进一步学习这种门控与规划行为,我们引入 AVIC-R,它通过 GRPO 从问答正确性奖励和想象成本惩罚中训练策略。在空间推理基准(SAT、MMSI)和具身导航基准(R2R)上,我们的结果揭示了想象至关重要、边际或有害的明确场景,并表明选择性控制可以以显著更少的世界模型调用和语言 token 匹配或超越固定想象策略。我们的 AVIC-R 超越了包括 GPT-4o 和 GPT-4.1 在内的强大专有基线,同时调用世界模型的频率更低。总体而言,我们的发现凸显了分析和控制测试时想象对于高效可靠空间推理的重要性。
评论: NeurIPS 2026;前两位作者贡献相同。项目页面:this https URL
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2602.08236 [cs.CV]
  (或 arXiv:2602.08236v3 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2602.08236

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Shoubin Yu [查看电子邮件]
[v1] 2026 年 2 月 9 日星期一 03:21:48 UTC(2,315 KB)
[v2] 2026 年 5 月 31 日星期日 23:44:59 UTC(2,438 KB)
[v3] 2026 年 11 月 18 日星期三 22:05:06 UTC(2,442 KB)

来源:arXiv cs.CL · arxiv.org