arXiv cs.CL· Mahdieh Mallahnezhad, Masoud Jafaripour, Mohamadali Tofigh, Sheila Schoepp, Osmar R. Zaiane·· 3 天前AI 评分20
多模态大模型空间推理的数据中心化理解综述
Towards a Data-Centric Understanding of Spatial Reasoning in Multimodal Large Language Models
AI 导读
一篇综述系统梳理了面向空间推理任务微调预训练多模态大语言模型（MLLMs）的方法，涵盖监督学习到强化学习，重点关注所用数据集。研究将相关工作分为数据集设计、数据集构建与评估三类，并归纳出规则模板、LLM 提示、程序化生成和人在回路四种固定空间标注构建方法。评估方面存在评分方法、容差指标和基准类型的显著差异，未来方向包括统一动态标注、高效空间推理、评估标准化、扩展空间范围与以人为中心的空间交互。
正文 · AI 翻译
摘要：多模态大语言模型（MLLM）已广泛应用于具身智能体和机器人领域的视觉任务。然而，MLLM 在空间推理和感知方面存在局限。后训练技术已展现出提升这些能力的潜力；但针对此类方法的数据驱动综述仍然有限。在本综述中，我们考察了面向空间推理任务微调预训练 MLLM 的方法，涵盖从监督学习到强化学习，并重点关注所使用的数据集。我们探讨了数据集构建、数据模态与标注以及所得模型的评估等主题。基于这些主题，我们将研究分为三类：数据集设计、数据集构建与评估。我们发现了四种构建固定空间标注的主要方法：规则与模板、LLM 提示、程序化生成以及人在回路。我们还观察到评估方法存在显著差异，包括不同的评分方法、容差指标和基准类型。最后，我们指出了未来研究的机会：统一动态标注、高效空间推理、评估标准化、扩展空间范围以及以人为中心的空间交互。
| Comments: | 29 页，3 幅图，2 张表，正在 Artificial Intelligence Review 审稿中 |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.19108 [cs.CV] |
| （或 arXiv:2610.19108v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19108 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Mahdieh Mallahnezhad [查看邮箱]
[v1]
2026年10月13日星期二 19:42:30 UTC（2,739 KB）
来源：arXiv cs.CL · arxiv.org