arXiv cs.CL· Zhiyuan Shi, Xiang Li, Xingzhuo Guo, Shangchen Miao, Weiliang Chen, Qiyu Dai, Jinshan Ren, Jiangran Lyu, Fangfu Liu, Mingsheng Long, Jialong Wu·· 6 天前AI 评分31
S-Space：多模态语言模型中的空间工作区
S-Space: Exploring Spatial Workspace in Multimodal Language Models
AI 导读
研究者发现多模态语言模型内部存在 S-Space 线性表示子空间，物体 token 表示在其中编码水平、垂直和距离三个连续坐标轴，且该子空间是模型固有的，在非空间问题下仍可读取。S-Space 充当内部空间工作区：感知将物体位置编码其中，内部推理可变换视角，语言回答选择性地访问它。研究者还将其用作诊断工具，发现模型能形成空间表示，但在跨视角变换推理上存在瓶颈。
正文 · AI 翻译
作者：Zhiyuan Shi、Xiang Li、Xingzhuo Guo、Shangchen Miao、Weiliang Chen、Qiyu Dai、Jinshan Ren、Jiangran Lyu、Fangfu Liu、Mingsheng Long、Jialong Wu
摘要：多模态语言模型（MLLMs）展现出颇具前景的空间推理能力，但支撑这些能力的内部机制仍鲜为人知。我们发现了 S-Space，一个线性表示子空间，其中对象 token 表示沿水平、垂直和距离轴编码连续坐标。尽管我们是通过对对象 token 激活求空间答案分数的微分来识别这些轴的，但 S-Space 是内在的，而非由特定数据或提示诱导产生，在非空间问题下仍可读取。我们表明，S-Space 充当 MLLMs 的内部空间工作区。感知将对象位置编码到其中，形成可直接读取以支持准确空间判断的空间表示。内部推理会为变化的视角对其进行变换。言语回应选择性地访问它，这一点由因果干预所证明：干预会改变空间判断，同时大体上保留非空间回应。案例研究进一步表明，S-Space 会为未见过的实体和观察者分配位置，并将物理方向与抽象语言含义联系起来，这既表明大规模语言训练的能力，也表明其局限。最后，我们将 S-Space 用作空间推理失败的诊断工具。方向词读出揭示了基本方位与图像相对参考系之间的系统性耦合。更重要的是，一种感知—计算分解暴露了一个关键瓶颈：MLLMs 能够形成有能力的空间表示，但在跨视角变化进行可靠推理所需的空间变换方面仍有不足。
| Comments： | 项目页面：this https URL |
| Subjects： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.13527 [cs.CV] |
| （或本版本使用 arXiv:2610.13527v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.13527 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Jialong Wu [查看邮箱]
[v1]
2026年10月9日星期五 12:48:41 UTC（13,229 KB）
来源：arXiv cs.CL · arxiv.org