arXiv cs.CL· Muhammad Zeeshan Karamat, Syed Talal Hassan, Christiana Chamon Garcia·· 11 小时前AI 评分31
视觉语言模型的安全几何随深度变化：逐层定位与双向拒答控制
Depth-Dependent Safety Geometry in Vision-Language Models: Layer-Wise Localization and Bidirectional Refusal Control
AI 导读
研究提出一种无需重训或改参数的轻量推理时框架，用于在冻结的视觉语言模型中定位并操控安全敏感表征。在 Qwen3-VL-4B 上，逐层激活差异分析显示安全几何随深度非均匀分布，早期视觉层沿学习到的安全方向做激活引导可实现强双向拒答控制，不安全拒绝率跨度达 6%-96%，而较深层对引导基本不敏感，呈现表征可分性与因果可控性的分离。
正文 · AI 翻译
摘要：视觉语言模型（VLM）已被广泛部署，但其安全行为背后的内部机制仍鲜为人知。我们提出一个轻量级的推理时框架，用于在冻结的 VLM 中定位和操控安全敏感表征，无需重新训练或修改参数。在 Qwen3-VL-4B 上，逐层激活差异分析揭示了跨深度非均匀的安全几何结构。因果干预表明，早期视觉层通过沿学习到的安全方向进行激活引导，支持强双向拒答控制，不安全拒绝率跨度达 6%-96%，而较深层则更多响应激活幅度缩放，并表现出显著的安全-选择性权衡。更深的层沿安全方向仍保持良好分离，但对引导基本不敏感，从而将表征可分性与因果可控性区分开来。尽管层位置和幅度存在差异，InternVL2.5-4B 表现出定性相似的深度依赖激活几何结构。我们的结果揭示了 VLM 视觉编码器中白盒、表征层面的拒答绕过攻击面，并推动对安全敏感表征的推理时稳定化。
| 评论： | 被 NeurIPS 2026 Workshop 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；密码学与安全（cs.CR）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32182 [cs.CV] |
| （或 arXiv:2610.32182v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32182 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Muhammad Zeeshan Karamat [查看邮箱]
[v1]
2026年10月23日星期五 05:28:49 UTC（64 KB）
来源：arXiv cs.CL · arxiv.org