arXiv cs.AI· Jiachun Li, Zhuoran Jin, Kang Liu, Jun Zhao·· 4 小时前AI 评分31
从感知到模拟:揭示并增强 MLLM 的心理空间动态能力
From Perception to Simulation: Unveiling and Empowering Mental Spatial Dynamics in MLLMs
AI 导读
研究提出 MentalGrid 基准,用于评测多模态大模型在无中间视觉反馈下模拟空间状态演变的能力,评测显示现有模型空间模拟能力明显不足。团队用 16k 专项空间推理样本的三阶段课程学习框架训练出 SpatialWalker,平均较基座模型提升 33.8%,在空间模拟上超过 Gemini-3-Flash,并在域外基准上保持 4.9% 的平均增益。
正文 · AI 翻译
摘要:空间推理是多模态大语言模型(MLLMs)理解世界的基本组成部分。尽管现有研究已推进了静态场景中空间关系的感知,但动态空间模拟领域仍相对未被探索。为弥补这一空白,我们提出了 MentalGrid,一个专注于空间推理任务的基准,要求模型在没有中间视觉反馈的情况下模拟不断演变的空间状态。在我们的基准上进行的大量评估揭示了现有模型在空间模拟能力上的显著不足。具体而言,我们发现性能在简单模拟场景中受限于感知局限,而随着复杂度增加则受制于多步推理能力不足。为应对这些挑战,我们提出了一个三阶段课程学习框架,使用了 16k 个专门的空间推理样本。该方法产出了 SpatialWalker,其平均性能较基座模型提升 33.8%,在空间模拟方面超越了 Gemini-3-Flash 等专有模型。此外,SpatialWalker 展现出稳健的泛化能力,在域外基准上保持 4.9% 的平均增益,表明空间模拟作为更广泛空间智能的基础构建模块发挥着关键作用。
| 评论: | EMNLP 2026 Findings |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.22541 [cs.CV] |
| (或 arXiv:2611.22541v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22541 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Jiachun Li [查看邮箱]
[v1]
2026年11月17日星期二 10:31:56 UTC(1,236 KB)
来源:arXiv cs.AI · arxiv.org