arXiv cs.AI· Baiqiao Yin, Zhongang Cai, Ruisi Wang, Qiwei Liang, Lei Yang, Ziwei Liu·· 13 小时前AI 评分31
视觉基础模型是否具备空间状态表征？四层探测给出答案
Probing Spatial State Representations in Visual Foundation Models
AI 导读
研究通过空间结构、物体持续性、预测性空间更新和可操作性四个层级，用冻结特征探针在十个表征上探测视觉基础模型的空间状态能力。结果显示，对可见场景的强读出并不能保证准确的物体持续性或未来特征检索；在真实特征上训练的空间读取器无法原样迁移到预测特征。物体持续性与可操作性依赖相机位姿读出，而特征预测依赖可见场景读出。
正文 · AI 翻译
摘要：观察者只能看到周围世界的一部分，却必须跟踪当前视野之外的事物。因此，空间感知不仅仅涉及识别单张图像：它需要一种持续的空间状态，该状态在自我运动下更新，并用于指导行动。视觉基础模型是否提供了支持这种状态的表示？我们通过对静态室内环境的流式自我中心观测，在十种表示上使用冻结特征探针，从四个空间能力层级——空间结构、物体持续性、预测性空间更新和可操作性——研究这一问题。由此得到的能力画像因任务、网络层和前缀长度而异：对可见场景的强读出并不能保证准确的物体持续性或未来特征检索。匹配对照将读出准确性与对视觉历史和运动的依赖区分开来。原生未来预测保留了可恢复的空间结构，但在真实特征上训练的空间读取器并不能原样迁移到预测特征上。最后，依赖目标的候选选择并不能建立可靠的连续动作效用：预测动作会响应目标变化，但提供正确目标并不能可靠地改善进展。在四个层级中，物体持续性和可操作性建立在相机位姿读出之上，而特征预测建立在可见场景读出之上。总之，这些发现促使我们不仅根据能从空间表示中解码出什么来评估它们，还要根据该信息是否在观测之外得以保持、是否被预测性更新以及是否用于目标导向行动来评估。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40636 [cs.CV] |
| （或 arXiv:2610.40636v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40636 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Baiqiao Yin [查看电子邮件]
[v1]
2026年10月29日星期四 17:58:16 UTC（2,373 KB）
来源：arXiv cs.AI · arxiv.org