arXiv cs.AI· Wenyue Chen, Yuhan Cheng, Ruixin Yang, Ethan Mendes, Alan Ritter, Jingwei Sun, Hai Li, Yiran Chen·· 11 小时前AI 评分31
为位置披露中的视觉语境隐私而引导视觉语言模型
Steering Vision-Language Models for Visual-Contextual Privacy in Location Disclosure
AI 导读
研究提出一种推理时"路由-引导"框架，通过序数粒度路由器将视觉语境隐私表征映射到披露路径，并在解码时按路径对隐藏状态施加干预，使视觉语言模型仅按图像语境所允许的粒度披露地理位置。该方法在四个 VLM 主干上提升了视觉语境感知的披露对齐，更好平衡披露过度与不足，在通用能力基准上仅有小幅变化，并可迁移到数据分布与隐私风险分类体系不同的另一数据集。
正文 · AI 翻译
摘要：视觉语言模型（VLM）能够从细微的视觉线索中推断出地理位置等敏感信息，当响应披露的细节超出视觉语境所允许的范围时，就会带来隐私风险。我们研究地理位置披露中的视觉语境隐私问题，即 VLM 只应在与图像所描绘的视觉语境相适应的粒度上披露位置信息。我们首先表明，这种语境上适当的粒度可以从生成前的隐藏状态中恢复，即使生成的响应存在错位，披露水平也沿一个共同的隐藏状态方向呈现出有序结构。受此启发，我们提出了一种推理时的路由与引导框架：有序粒度路由器将视觉语境隐私表示映射到一条披露路径，披露水平条件引导模块在解码过程中施加路径特定的隐藏状态干预。在四个 VLM 主干模型上，我们的方法提升了视觉语境感知的披露对齐，更好地平衡了过度披露与披露不足，并且在通用能力基准上仅带来适度变化。它还能迁移到另一个具有不同数据分布和隐私风险分类体系的数据集。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27323 [cs.CV] |
| （或 arXiv:2610.27323v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27323 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuhan Cheng [查看邮箱]
[v1]
2026年10月19日星期一 21:41:54 UTC（2,826 KB）
来源：arXiv cs.AI · arxiv.org