arXiv cs.AI· Tianshi Wang, Jingsong Wang, Fengling Li, Jingjing Li, Xin Li, Lei Zhu·· 2 天前AI 评分26
反事实邻域风险场 CNRF：面向视觉语言模型的证据驱动选择性安全
Counterfactual Neighborhood Risk Fields: Evidence-Grounded Selective Safety for Vision-Language Models
AI 导读
研究者提出反事实邻域风险场（CNRF），一种面向视觉语言模型的选择性安全框架，通过构建上下文匹配的良性-有害反事实对，将其表征差异作为风险方向，并将邻域支持度与风险分开估计，避免把陌生输入误判为有害。在三种 VLM 和五个多模态越狱家族上，CNRF 取得 86.06-89.30% 的宏平均防御成功率，同时保留可观的良性任务效用。
正文 · AI 翻译
摘要：基于表示的视觉语言模型（VLM）安全防御通常学习区分有害与良性输入，但仅靠区分并不能确立风险分数的含义或何时应信任它。我们提出反事实邻域风险场（CNRF），一个基于证据的选择性 VLM 安全框架。CNRF 构建上下文匹配的良性-有害反事实对，将其表示差异作为与能力相关的风险方向，并将邻域支持度与风险分开估计。这种分离防止将不熟悉与有害性混为一谈，并支持选择性干预而非一概拒绝。一个受害者自适应接口可适应不同 VLM 架构中的不同安全观测，并将选定的请求路由至同一受害者的响应审查，从而要么放行可接受的候选，要么生成有害能力降低的受限替代方案。在三个 VLM 和五个多模态越狱家族上，CNRF 实现了 86.06-89.30% 的宏观防御成功率，同时保留了可观的良性任务效用。受控实验进一步表明，查询匹配的参考和保留的上下文-方向对应关系在低假阳性区间显著改善了风险排序。因此，CNRF 将基于表示的 VLM 安全从学习有害性边界重新定义为构建可用于选择性风险决策的证据。
| 主题： | 人工智能（cs.AI）；密码学与安全（cs.CR）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.20679 [cs.AI] |
| （或 arXiv:2610.20679v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20679 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Jingsong Wang [查看电子邮件]
[v1]
2026年10月14日星期三 16:08:14 UTC（2,603 KB）
来源：arXiv cs.AI · arxiv.org