arXiv cs.AI· Daniel Adejumo, Omkar Ankalkope, Kunal Runwal, Aliasghar Arab·· 11 小时前AI 评分31
基于动作条件的 VLM 监控：检测自动驾驶语义异常
Action-Conditioned VLM Monitoring for Autonomous Vehicle Semantic Anomalies
AI 导读
研究提出用动作条件化的 VLM 监控自动驾驶行为：VLM 先从隐藏结果的车载视频窗口预测场景所需动作，再与真实自车轨迹按兼容规则比对，判断行为是否异常。作者构建了覆盖 112 个配对场景的六字段分类体系和带估计轨迹的生成视频语料。
正文 · AI 翻译
摘要：我们研究在语义上不寻常的驾驶场景中对自动驾驶车辆行为进行动作条件监控。目标是判断所执行的自我动作是否适合该场景：同一场景既可能允许正常行为，也可能允许异常行为，因此仅凭视觉上的不寻常性并不能决定监控标签。视觉语言模型（VLM）首先从隐藏结果视频窗口中预测场景所需动作；随后监控器在明确的兼容性规则下，将该预期与实际发生的自我运动轨迹进行比较。为研究这一监控任务，我们贡献了一个包含 112 个配对场景的六字段分类体系，涵盖两种失败极性（其中 42 个源自已记录事件）、一个带有估计轨迹的生成视频语料库，以及在该语料库上的探索性两阶段监控器。在来自 15 个场景家族的 235 个片段上，采用固定 T-2.5 秒窗口的两阶段协议获得 83.0% 的准确率和 0.773 的异常召回率，而单阶段仅视频基线为 74.5% 和 0.536；特异性分别为 0.880 和 0.928。
| 评论： | 7 页。提交至 IEEE ICRA 2027 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07540 [cs.CV] |
| （或 arXiv:2611.07540v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07540 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aliasghar Arab [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 06:48:39 UTC（3,454 KB）
来源：arXiv cs.AI · arxiv.org