arXiv cs.AI· Rong Li, Shijie Li, Jiangyong Huang, Lingdong Kong, Jiaming Zhou, Dongyue Lu, Zeying Gong, Baoxiong Jia, Junwei Liang, Siyuan Huang·· 3 天前AI 评分26
GeoReader：为视觉语言模型学习空间推理的潜在几何表示
GeoReader: Learning Latent Geometry for Spatial Reasoning in Vision-Language Models
AI 导读
GeoReader 框架通过训练轻量级 Geometric Readers 生成连续几何 token，让 VLM 直接读取几何信息，而非仅对齐几何特征。在 Qwen3-VL-4B 上，该方法在 MindCube-Tiny 达到 94.3；配合多源 QA 混合数据，Qwen3.5-9B 在六个额外空间基准上平均得分 72.5。推理时 VLM 直接由连续几何 token 作答，无需生成几何思维链。
正文 · AI 翻译
摘要：视觉语言模型（VLM）难以处理在 RGB 观测中仍为隐式的度量和多视图关系。几何基础模型可从 RGB 中恢复这种结构，但现有方法要么将估计的特征与视觉 token 融合，并仅从问答中学习使用它们，要么将 VLM 的潜在表示与几何特征对齐。然而，捕获几何并不保证其被使用：将已发布特征对齐模型的对齐潜在表示置零后，其准确率保持不变。我们提出 GeoReader，一个为读取几何表示的 VLM 学习几何表示的框架。首先，我们训练轻量级几何读取器以生成连续输入 token，并用由冻结 VLM 解码的几何描述对其进行监督，使读取器以目标模型已经能够读取的形式表达几何。然后，我们冻结读取器以保持这一接口，同时在空间问答上微调 VLM，并以问题为条件进行几何注入。几何描述仅作为训练目标：在推理时，VLM 直接从连续几何 token 作答，而无需生成几何思维链。在从 RGB 图像预测几何的情况下，我们的方法在 Qwen3-VL-4B 上于 MindCube-Tiny 达到 94.3，并在使用多源问答混合数据时，于 Qwen3.5-9B 上在六个额外空间基准上平均达到 72.5。这些结果表明，有用的几何表示是接收模型能够使用的表示，而不仅仅是能够从中重建几何的表示。
| 评论： | 35 页，11 幅图，15 个表格；项目页面见 此 https URL，GitHub 仓库见 此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.18694 [cs.CV] |
| （或 arXiv:2610.18694v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18694 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Rong Li [查看邮箱]
[v1]
2026 年 10 月 13 日星期二 16:45:37 UTC（22,654 KB）
来源：arXiv cs.AI · arxiv.org