arXiv cs.CL· Tianchen Guo, Tengyue Zhang, Chen Liu, Ling Chen, Xin Yu·· 12 小时前AI 评分31
SATE-Bench：MLLMs 能否通过主动外视角探索构建以人为中心的空间理解？
Humans in Space: Can MLLMs Construct Human-Centric Spatial Understanding via Active Exocentric Exploration?
AI 导读
研究团队提出 SATE-Bench，包含 316 个真实场景和 2525 条多轮 QA 对，用于评测 MLLMs 的视觉自我意识与主动外视角探索能力。评测显示，当前 SOTA MLLMs 会在证据不足时过早终止探索却报告高置信度，且难以处理细粒度 3D 几何任务。用 GRPO 微调奖励视角寻求虽能提升主动探索，却因过度探索和多轮多视角上下文融合失败而降低整体准确率。
正文 · AI 翻译
摘要：尽管多模态大语言模型（MLLMs）在零样本推理方面表现出色，但其空间能力主要通过静态、被动的观察来评估。在复杂、以人为中心的场景中，遮挡常常隐藏关键的几何证据，而被动基准迫使模型去猜测，而非识别自身的视觉不确定性。为弥合这一差距，我们提出 SATE-Bench，这是一个新颖的交互式基准，包含 316 个真实场景和 2,525 个多轮问答对，用于评估视觉自我意识和主动的外中心视角探索。它结合了被动多视角控制与主动探索设置，在主动探索中，模型从严重遮挡的视角开始，必须迭代地查询相邻视点，直到收集到足够证据以完全“满足”问题，并由步数惩罚的效率奖励进行评分。对最先进 MLLMs 的评估表明，它们过早终止探索却报告高置信度，并且在细粒度 3D 几何任务上表现不佳；匹配视角控制进一步将主动—被动差距主要归因于证据获取不足。此外，使用组相对策略优化（GRPO）进行微调表明，奖励寻求视角会增加主动探索，但会降低整体准确率，因为模型过度探索，且无法跨轮次融合不断扩展的多视角上下文。这些发现表明，扩展被动多视角感知并不能内在地产生主动空间推理，凸显了需要知道在哪里看、如何整合所见内容以及何时停止的模型。代码和数据可在 此 https URL 获取
| 评论： | Winter Conference on Applications of Computer Vision (WACV) 2027。33 页，14 幅图，23 张表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34149 [cs.CV] |
| （或 arXiv:2610.34149v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34149 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianchen Guo [查看电子邮件]
[v1]
2026 年 10 月 25 日星期日 08:35:20 UTC（3,280 KB）
来源：arXiv cs.CL · arxiv.org