arXiv cs.AI· Peter A. Massih, Eric Cosatto, Martin Renqiang Min·· 12 小时前AI 评分31
SQuID：卫星影像定量空间推理基准
SQuID: A Benchmark for Quantitative Spatial Reasoning on Satellite Imagery
AI 导读
研究团队推出 SQuID 基准，包含 587 张卫星影像上的 2,000 道题，覆盖 24 种题型和三个难度层级，答案由人工标注的分割掩码或人类共识计算得出。在 15 个受测系统中，最佳零样本端到端 VLM 仅达 28.1%，遥感专用 VLM 得分更低；其提出的 QASR 基线达到 42.0%，改用参考掩码后升至 82.6%，显示分割是主要误差来源。
正文 · AI 翻译
摘要：视觉语言模型（VLM）能流畅地描述卫星图像，但在遥感（RS）分析师日常进行的定量空间推理方面表现不佳，例如统计建筑物数量、以公顷为单位测量森林面积以及以米为单位计算距离。我们推出了 SQuID（卫星定量智能数据集），这是一个包含 2,000 个问题的基准，覆盖来自四个来源的 587 张图像，地面采样距离为 0.3 至 1.0 米，涵盖三个难度层级的 24 种问题类型。答案由经过整理的语义分割掩码计算得出，其中 50 个问题的答案来自人工共识；数值答案则依据人工标注所确定的容差范围进行评分。SQuID 还公开了其答案所依据的参考掩码，以便使用参考掩码而非预测掩码来评估模块化系统，并在不相交的图像上提供了 75,687 个训练问答对（SQuID-Train）。在 15 个被评估的系统中，最佳的零样本端到端 VLM 达到 28.1%，而遥感专用 VLM 的得分更低。作为基线，我们提出了 QASR（定量智能体空间推理），其中 LLM 编写程序对图像进行分割，并用几何算子测量掩码。QASR 达到 42.0%。在 1,950 个由掩码推导出的问题上，将其程序运行在参考掩码而非预测掩码上，可将准确率从 42.2% 提升至 82.6%，因此分割是其主要的误差来源。在 SQuID-Train 上微调 Qwen2.5-VL-7B 可将其准确率从 16.1% 提升至 40.7%，接近 QASR。多条件问题（第 3 层级）在所有设置中仍然最难，QASR 使用参考掩码时为 62.0%，微调后为 13.2%。这些结果为学习度量空间推理的端到端模型留下了明显的提升空间，而 SQuID 提供了训练和评估此类模型的数据。
| 评论： | 修订版，更新了标题、作者列表、稿件和实验。提交至 NeurIPS 2026 Evaluations & Datasets Track。介绍了用于卫星图像定量空间推理的 SQuID 基准和 QASR 基线。数据集 DOI：https://doi.org/10.57967/hf/7565。代码和数据已公开可用 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.13401 [cs.CV] |
| （或 arXiv:2601.13401v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2601.13401 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Peter A. Massih [查看电子邮件]
[v1]
2026 年 1 月 19 日星期一 21:14:34 UTC（11,425 KB）
[v2]
2026 年 10 月 27 日星期二 14:45:28 UTC（13,248 KB）
来源：arXiv cs.AI · arxiv.org