arXiv cs.CL· Zengqi Zhao, Zun Wang, Shoubin Yu, Mohit Bansal, Yue Zhang·· 13 小时前AI 评分35
ImagiRep 基准揭示：准确想象 RGB 视图不足以保证空间推理，GEARS 用自适应表示选择提升表现
Representing the Unseen: Rethinking Visual Imagination for Spatial Reasoning
AI 导读
研究者提出 ImagiRep，一个基于模拟器、含 922 道题、覆盖七类问题与 Viewpoint Imagination 和 Cross-view Integration 两种设定的基准，为同一未观测状态提供 oracle RGB 及深度、全景、俯视几何等六种替代表示。
正文 · AI 翻译
摘要：视觉世界模型越来越多地通过生成未观测状态的 RGB 视图来支持空间推理。然而，RGB 之所以成为默认接口，很大程度上是因为它非常适合视觉生成，而不一定是对下游推理最有效的表示。不同的空间问题可能受益于对同一想象状态的不同表示：俯视几何有助于全局距离比较，而全景视图则为开放空间的推理提供更广阔的上下文。为了厘清表示在空间想象中的作用，我们提出了 ImagiRep，这是一个基于模拟器的基准，包含 922 个问题，涵盖两种设置（视角想象和跨视图整合）下的七种问题类型，并为同一未观测状态提供 oracle RGB 和六种替代表示（例如深度、全景视图和俯视几何）。这一受控比较表明，即使想象出的 RGB 是准确的，也不能保证空间推理准确，而且不同的问题受益于不同的表示。对于由世界模型估计状态导出的表示，也存在类似的趋势。值得注意的是，仅凭估计的 RGB 可能会误导空间推理，而替代表示则保留了互补的优势。基于这些发现，我们提出了 GEARS，一种用于自适应表示选择的轻量级测试时策略，其表现优于现有的空间想象方法，并表明对未见状态的推理需要的不仅仅是生成 RGB 视图。
| 评论： | 网页：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37437 [cs.CV] |
| （或 arXiv:2610.37437v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37437 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yue Zhang [查看电子邮件]
[v1]
2026年10月27日星期二 15:48:09 UTC（19,560 KB）
来源：arXiv cs.CL · arxiv.org