arXiv cs.AI· Chengtao Jian, Kai Yang·· 3 天前AI 评分31
DPOison-VL：视觉语言模型 DPO 的干净偏好投毒攻击
DPOison-VL: Clean Preference Poisoning in Vision-Language Direct Preference Optimization
AI 导读
DPOison-VL 是首个针对 VLM-DPO 的干净偏好投毒攻击，仅通过对少量训练图像施加不可感知扰动，即可在不改动提示词、回复和偏好标注的情况下操纵模型对齐。该方法将投毒构造建模为双层优化，并提出偏好位移分数用于投毒样本选择，在仅 2% 投毒数据下实现最高 98% 攻击成功率，且具备跨模型迁移性，同时基本保持干净准确率与通用能力。
正文 · AI 翻译
摘要：直接偏好优化（DPO）已成为对齐视觉语言模型（VLM）的广泛采用方法，但多模态偏好数据的安全性在很大程度上仍未得到探索。现有的偏好投毒攻击要么破坏显式监督信号，要么需要可见触发器，使其在人工检查下可被检测。我们提出 DPOison-VL，这是首个针对 VLM-DPO 的干净偏好投毒攻击，它仅通过对一小部分训练图像的不可感知扰动来操纵模型对齐，同时保持所有提示、响应和偏好标注在语义上完好无损。我们将投毒构造形式化为双层优化，并推导出一种梯度对齐代理，可高效地将图像扰动导向攻击者指定的偏好。我们进一步引入偏好位移分数，用于在固定投毒预算下具有可证明一阶最优性的有原则投毒选择，并推导出偏好反转的充分条件。跨多种攻击任务、不同 VLM 架构和规模以及基线对比的大量实验表明，DPOison-VL 仅用 2\% 的投毒数据即可达到高达 98\% 的 ASR，并表现出跨模型可迁移性，同时基本保持干净准确率和通用效用。我们的发现揭示了 VLM-DPO 中的一个关键漏洞：偏好训练数据中不可感知的图像扰动可以悄无声息地重定向对齐。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.18609 [cs.CR] |
| （或使用 arXiv:2610.18609v1 [cs.CR] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.18609 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chengtao Jian [查看电子邮件]
[v1]
2026年10月13日星期二 15:58:58 UTC（3,329 KB）
来源：arXiv cs.AI · arxiv.org