arXiv cs.AI· Xinyi Zheng, Yunze Liu, Chi-Hao Wu, Fan Zhang, Hao Zheng, Wenqi Zhou, Walterio W. Mayol-Cuevas, Junxiao Shen·· 11 小时前AI 评分38
SpatialMem：面向语言定位与问答的度量对齐长时程视频记忆系统
SpatialMem: Metric-Aligned Long-Horizon Video Memory for Language Grounding and QA
AI 导读
SpatialMem 是一个融合 3D 几何、语义与语言的可查询记忆系统，仅用第一视角 RGB 视频即可重建度量尺度的室内场景并支持空间关系推理与问答。在 VSI-Bench（288 个视频、5,130 道题）上以纯 RGB 取得 37.5 总分，房间尺寸子项为 41.4，而同等规模帧模型仅 24.4。
正文 · AI 翻译
摘要：SpatialMem 是一个基于记忆的系统，它将 3D 几何、语义和语言整合到一个统一、可查询的表示中。从随意录制的第一人称 RGB 视频出发，SpatialMem 重建具有度量尺度的室内场景，识别结构性 3D 锚点（墙壁、门、窗户）作为第一层骨架，并将开放词汇对象节点与证据片段、视觉嵌入和两层描述关联到 3D 坐标，从而无需特殊传感器即可实现空间关系推理、语言引导检索和问答。我们在公开基准上进行了大规模测试。在 VSI-Bench（$288$ 个视频，$5{,}130$ 个问题）上，SpatialMem 仅使用 RGB 就获得 $37.5$ 的总分，而其优势恰好体现在度量记忆应当发挥优势的地方（房间尺寸 $41.4$ 对比同规模帧模型的 $24.4$）。在 OpenEQA 的情景记忆任务（$953$ 个问题）上，序列化为文本的记忆低于盲对照，但作为证据帧检索时，它恢复了帧级准确率，在相同的八帧预算下与均匀采样持平，并随着预算收紧而领先，且每个答案都基于关联的 3D 证据。在 $12$ 个 ScanNet 场景上使用实例级官方标注进行评估时，锚点优先的层级结构将检索到的对象分配给正确的结构父节点，而开放词汇 3D 场景图基本无法做到这一点（$0.24$ 对比匹配输入下的 $0.01$），这是能力差异而非整体胜出。可查询索引在不含关联证据帧的情况下每场景成本为 $14$\,KB，我们公开了测试套件、记忆和代码。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.14895 [cs.CV] |
| （或此版本的 arXiv:2601.14895v4 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2601.14895 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xinyi Zheng [查看邮箱]
[v1]
2026年1月21日星期三 11:32:24 UTC（6,450 KB）
[v2]
2026年3月5日星期四 22:39:31 UTC（7,055 KB）
[v3]
2026年10月22日星期四 10:53:26 UTC（1,239 KB）
[v4]
2026年10月23日星期五 14:47:39 UTC（4,434 KB）
来源：arXiv cs.AI · arxiv.org