arXiv cs.CL· Junfeng Yan, Biao Wu, Meng Fang, Ling Chen·· 14 小时前AI 评分38
Automotive-ENV：面向车载座舱环境的多模态模型基准测试
Automotive-ENV: Benchmarking Multimodal Models in Automotive Cockpit Environments
AI 导读
研究者提出 Automotive-ENV，一个基于 Android Automotive OS 的交互式基准，用于评估多模态模型在车载座舱环境中的表现，包含 420 个覆盖常规座舱操作与安全关键场景的任务。
正文 · AI 翻译
摘要：多模态模型已在网页、桌面和移动 GUI 环境中展现出强大能力，但其在汽车座舱系统中的表现仍基本未被探索。车载 GUI 带来了超越传统 GUI 交互的独特挑战，包括车辆状态推理、隐式意图理解和安全关键决策。为填补这一空白，我们推出 Automotive-ENV，一个用于评估多模态模型在汽车座舱环境中表现的交互式基准。Automotive-ENV 基于 Android Automotive OS 构建，将座舱屏幕交互与车辆状态信号以及基于状态的确定性评估相结合。该基准包含 420 个精心构建的任务，涵盖常规座舱操作和安全关键场景。与以往依赖动作匹配或基于 LLM 评判的 GUI 基准不同，Automotive-ENV 通过针对 UI 状态、车辆信号和安全相关条件的可复现验证器来评估模型行为。我们在 Automotive-ENV 上对具有代表性的通用多模态模型和 GUI 专用视觉语言模型进行了基准测试。实验结果表明，当前模型在汽车环境中仍远未达到可靠水平，在隐式任务和安全关键任务中性能显著下降。进一步分析揭示了在安全感知推理、车辆控制理解和隐式危险识别方面一致的失败模式。我们发布 Automotive-ENV 以及任务、验证器和评估工具，以支持未来对汽车多模态系统的研究。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器人学 (cs.RO)；计算与语言 (cs.CL) |
| ACM 分类： | F.2.2; I.2.7 |
| 引用为： | arXiv:2509.21143 [cs.RO] |
| （或本版本的 arXiv:2509.21143v3 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2509.21143 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Biao Wu [查看邮箱]
[v1]
2025年9月25日 星期四 13:30:13 UTC (1,176 KB)
[v2]
2025年9月27日 星期六 15:53:51 UTC (1,176 KB)
[v3]
2026年10月24日 星期六 04:28:23 UTC (2,551 KB)
来源：arXiv cs.CL · arxiv.org