arXiv cs.AI· Heyam Bin Jahlan Areej Alhothali Abeer Alhothali·· 10 天前AI 评分22
面向自动驾驶黑盒视觉语言模型的可迁移时空一致性对抗攻击
Transferable Spatial Temporal Coherence Adversarial Attack on Black-Box Vision Language Models for Autonomous Driving
AI 导读
研究者提出时空一致性对抗攻击（STCA），针对自动驾驶场景中的黑盒视觉语言模型，通过模态扩展、空间攻击和STCA攻击三阶段，利用白盒代理模型的迁移性实施攻击。在BDD100K和nuScenes数据集上对Video LLaVA-7B、Qwen2.5-VL-7B和Dolphin三个模型的实验表明，空间攻击在高SSIM下实现了较高的ASR，现有视频语言模型在自动驾驶场景中仍高度易受对抗攻击。
正文 · AI 翻译
摘要：视觉语言模型（VLM）快速融入敏感系统带来了关键的安全漏洞，而现有研究尚未对此进行探索。虽然针对基于图像的模型的对抗攻击鲁棒性已被广泛研究，但 VLM 在驾驶场景中针对视频的时间感知对抗攻击的脆弱性，构成了一个独特且研究不足的威胁。在本文中，我们提出了一种针对用于自动驾驶场景的 VLM 模型的新型视频对抗攻击，名为时空一致性对抗攻击（STCA）。我们的攻击由三个阶段组成：模态扩展、空间攻击和 STCA 攻击。在模态扩展中，我们提出了字幕引导的帧选择方法，以确保对抗扰动针对最具语义显著性的帧。this http URL 空间攻击中，我们精心设计有效的扰动并保持高相似度。然后，生成的扰动视频被输入到 STCA 阶段，该阶段利用运动引导掩码破坏跨帧时间一致性。我们的方法在针对受害目标 VLM 的黑盒威胁模型下运行，仅依赖白盒替代模型的迁移性 this http URL 我们在 BDD100K 和 nuScenes 自动驾驶数据集上对三个 VLM 模型进行了实验：Video LLaVA-7B、Qwen2.5-VL-7B 和 Dolphin。实验结果表明，空间攻击在实现高 SSIM 的同时达到了 ASR。我们的发现揭示了现有视频语言模型在自动驾驶场景中仍然极易受到对抗攻击，凸显了对 VLM 模型进行鲁棒防御的迫切需求。
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08331 [cs.CV] |
| （或 arXiv:2610.08331v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08331 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Heyam Bin Jahlan [查看电子邮件]
[v1]
2026年10月6日星期二 13:30:06 UTC（28,257 KB）
来源：arXiv cs.AI · arxiv.org