arXiv cs.AI· Zhihua Wei, Qiang Li, Jian Ruan, Zhenxin Qin, Leilei Wen, Dongrui Liu, Wen Shen·· 11 小时前AI 评分38
通过越狱相关表征偏移理解与防御 VLM 越狱
Understanding and Defending VLM Jailbreaks via Jailbreak-Related Representation Shift
AI 导读
研究提出用“越狱相关偏移”（JRS）解释视觉语言模型越狱：模型在表征空间能区分良性输入与有害输入，越狱样本也形成可分离的内部状态，说明越狱并非识别失败，而是视觉模态将表征推向特定越狱状态、未能触发拒绝。基于此提出推理时移除该偏移的防御方法 JRS-Rem，在多个场景下提供强防御且保持良性任务性能，代码已公开。
正文 · AI 翻译
摘要：大型视觉语言模型（VLM）在整合视觉模态后，往往表现出安全对齐被削弱的现象。即使文本提示包含明确的有害意图，添加一张图像也能大幅提高越狱成功率。本文观察到，VLM 在其表示空间中能够清晰区分良性输入与有害输入。此外，即使在有害输入中，越狱样本也形成了一种可与拒答样本分离的独特内部状态。这些观察表明，越狱并非源于未能识别有害意图。相反，视觉模态将表示推向特定的越狱状态，从而导致未能触发拒答。为量化这一转变，我们识别出一个越狱方向，并将越狱相关偏移定义为图像引起的表示偏移沿该方向的分量。我们的分析表明，越狱相关偏移能够可靠地表征越狱行为，为多种越狱场景提供了统一的解释。最后，我们提出一种防御方法，通过在推理时移除越狱相关偏移（JRS-Rem）来增强 VLM 安全性。实验表明，JRS-Rem 在多种场景下提供了强有力的防御，同时保持了在良性任务上的性能。代码可在 此 https URL 获取。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.17372 [cs.CV] |
| （或 arXiv:2603.17372v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.17372 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qiang Li [查看电子邮件]
[v1]
2026年3月18日 星期三 05:31:29 UTC（2,294 KB）
[v2]
2026年10月15日 星期四 09:57:58 UTC（2,045 KB）
来源：arXiv cs.AI · arxiv.org