arXiv cs.AI· Everett Richards·· 3 天前AI 评分18
面向自动驾驶危险检测的视觉语言模型任务对齐稳定性分析
Task-Aligned Stability Analysis of Vision-Language Models for Autonomous Driving Hazard Detection
AI 导读
研究用 BDD100K 道路场景的受控损坏实验，检验 CLIP 图像-文本相似度导出的危险分数变化能否由嵌入漂移预测。结果显示两者关系高度依赖损坏类型：部分损坏族中表征漂移与决策漂移强耦合，另一些则在嵌入变化不大时仍引发危险决策不稳定。多数损坏族通过漏检抑制危险识别，遮挡则触发误报，表明鲁棒性基准应纳入任务对齐的稳定性指标。
正文 · AI 翻译
摘要：视觉语言模型（VLM）在自动驾驶场景理解中的应用日益广泛，但鲁棒性分析往往仅依赖于与任务无关的嵌入稳定性。我们研究由损坏引起的嵌入漂移是否能预测由 CLIP 图文相似度导出的任务对齐危险评分的变化。通过在 BDD100K 道路场景上施加受控损坏，我们将嵌入漂移与边界漂移（即扰动下危险评分的变化）进行比较。这种关系高度依赖于损坏类型：某些损坏族在表示漂移与决策漂移之间表现出强耦合，而另一些则在嵌入变化相对温和的情况下引发危险的决策不稳定。此外，不同损坏族在失败方向上存在差异：大多数通过假阴性抑制危险检测，而遮挡反而触发误报，这表明基准设计应考虑非对称的失败模式，而不仅仅是整体不稳定率。这些结果表明，鲁棒性基准除了嵌入层面的扰动统计外，还应包含任务对齐的稳定性度量。
| 评论： | 8 页（5 页正文 + 3 页参考文献/附录）。ICML 2026 理论与基准结合研讨会（CTB） |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| ACM 分类： | I.2.10；I.4.8 |
| 引用为： | arXiv:2606.11889 [cs.CV] |
| （或 arXiv:2606.11889v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.11889 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Everett Richards [查看电子邮件]
[v1]
2026 年 6 月 10 日星期三 10:20:14 UTC（5,906 KB）
[v2]
2026 年 10 月 12 日星期一 14:48:01 UTC（5,906 KB）
来源：arXiv cs.AI · arxiv.org