跳到正文
arXiv cs.AI· Gabriele La Malfa, Nitay Alon, Emanuele La Malfa, Reuth Mirsky, Stefan Sarkadi·· 4 小时前AI 评分38

EMRD 基准:评估 VLM 在安全关键场景中的探索、建图、记忆与决策能力

Explore, Map, Remember, Decide: A Benchmark for VLM Readiness in Safety-Critical Scenarios

AI 导读

研究者提出 EMRD 评估框架,将 VLM 的空间推理拆为 Explore、Map、Remember、Decide 四阶段,用 18 项阶段指标在 16 栋建筑中评测 11 个开源与闭源 VLM。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉语言模型(VLM)常被部署为机器人的具身控制器,但它们在长时程序列轨迹中探索环境、维护内部地图以及为安全关键决策提供依据的能力仍不清楚。在本工作中,我们提出 EMRD,一个将空间推理解耦为四个阶段的评估框架:探索(智能体观察到什么)、建图(它记录了什么以及记录在哪里)、记忆(它保留了什么)和决策(其最终选择是否合理),并在 18 项阶段特定指标上进行评分。我们使用 EMRD 在标称条件下以及三种环境压力(黑暗、烟雾和运动噪声)下,对 16 栋建筑中的 11 个开放权重和闭源权重 VLM 进行评估,其中具身 VLM 探索未知房间、绘制观察到的物体地图,并选择最安全的集合地点。开放权重模型在 95% 的回合中会遗漏房间未访问,且最多只能检测到 51% 的物体;闭源权重模型探索更多,但在使用外部记忆(记事本)的情况下,三个中有两个会提前停止。在没有外部记忆时,大多数 VLM 保留的已见物体更少,在较大建筑中尤其如此。起点限制了哪些房间被探索,而从不同房间出发的开放权重模型在最终房间选择上的一致程度并不显著高于随机水平。此外,这些选择会受到语义先验的偏置:交换房间标签往往就足以改变最终选择。最后,运动噪声会增加物体位置误差(闭源权重模型增加 12-60%),强黑暗会使地图召回率下降 28-31 个百分点,浓烟会使已见物体减少 25-39 个百分点,而在已进入房间之间的选择没有显著变化。
学科: 人工智能(cs.AI);多智能体系统(cs.MA);机器人学(cs.RO)
引用为: arXiv:2608.08077 [cs.AI]
  (或 arXiv:2608.08077v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2608.08077

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Gabriele La Malfa [查看电子邮件]
[v1] 2026年8月8日星期六 11:57:01 UTC(4,284 KB)
[v2] 2026年11月17日星期二 14:20:30 UTC(6,960 KB)

来源:arXiv cs.AI · arxiv.org