arXiv cs.CL· Jun Wang, Xiaohao Xu, Xiaonan Huang·· 11 小时前AI 评分33
TouchSafeBench：评估视觉语言模型碰撞定位能力的物理基准
Probing Collision Grounding in Vision-Language Models for Safe Human-Robot Collaboration
AI 导读
研究者提出 TouchSafeBench，一个基于 Habitat 3.0 构建的物理基准，含 2,940 个室内共处模拟片段，用于评估视觉语言模型的碰撞定位能力。在三个前沿或机器人导向 VLM 与九种视觉表示上，最佳平均 Macro-F1 仍低于 50%，显式深度信息不会自动转化为机器人本体碰撞证据，且机器人-场景接触始终比人体接触风险更难判断。
正文 · AI 翻译
摘要：安全的人机协作需要的不仅仅是视觉描述：监控系统必须判断机器人本体是否与场景或人安全分离、已经发生碰撞，还是即将发生碰撞。我们将这一能力称为碰撞接地：将视觉观测与机器人本体几何、相机视角、场景布局、人的接近程度以及时序运动绑定起来，以推断当前和即将发生的接触。我们提出 TouchSafeBench，一个基于物理的基准，用于评估视觉语言模型（VLM）中的碰撞接地能力。TouchSafeBench 构建于 Habitat~3.0 中，包含 2,940 个模拟室内共处片段，涵盖社交导航和社交重排，并配有同步的多视角 RGB-D 观测、俯视轨迹图、标定后的相机元数据以及由模拟器导出的接触标签。我们研究两个面向部署的任务：对当前安全状态进行分类，以及在接触发生前对即将到来的碰撞发出警告。在三个前沿或面向机器人学的 VLM 和九种视觉表示上，当前模型仍远未达到可靠水平：最佳平均 Macro-F1 仍低于 50\%，显式深度信息不会自动转化为机器人本体的碰撞证据，且机器人与场景的接触始终比与人接触的风险更难判断。TouchSafeBench 揭示了具身 VLM 的一个核心局限：视觉流畅并不意味着物理可问责。可靠的机器人安全监控将需要能够显式绑定视角、机器人形态、度量几何和未来碰撞的表示。该基准可在 此 https URL 获取。
| Comments: | 已被第 10 届机器人学习会议（CoRL 2026）接收，美国德克萨斯州奥斯汀 |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL）；机器人学（cs.RO） |
| Cite as: | arXiv:2605.31196 [cs.CV] |
| （或 arXiv:2605.31196v2 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.31196 arXiv 通过 DataCite 颁发的 DOI |
Submission history
来自：Xiaohao Xu [查看邮箱]
[v1]
2026 年 5 月 29 日星期五 12:04:38 UTC（7,088 KB）
[v2]
2026 年 10 月 23 日星期五 10:43:59 UTC（6,034 KB）
来源：arXiv cs.CL · arxiv.org