arXiv cs.AI· Zane Fu, Yanzhao Zheng, Jinze Liu, Ziting Qin, Qianshan Wei, Jihuai Zhu, Yipeng Yu, Baohua Dong, Hangcheng Zhu, Ruohui Huang·· 4 小时前AI 评分39
研究揭示 On-Policy Distillation 中的视觉后门传播风险
As Student Rollouts Continue, Visual Backdoors Keep Growing
AI 导读
研究挑战了 On-Policy Distillation(OPD)天然抵抗后门传播的直觉,发现视觉后门在 OPD 中低毒化率下几乎不出现,但一旦超过临界阈值,攻击成功率会迅速逼近 100%。后门传播不依赖显式恶意回答,而由教师模型持续累积的异常概率质量驱动;作者据此提出一种零显式触发器注入的触发设计。
正文 · AI 翻译
摘要:传统知识蒸馏可以促进后门从教师模型向学生模型传播。然而,这一风险在在线策略蒸馏(On-Policy Distillation,OPD)中如何体现,目前研究仍不充分。OPD 近来已成为视觉语言模型(VLM)重要的后训练范式。与传统离线蒸馏不同,OPD 不需要教师生成的回答,而是利用教师的概率分布来监督学生在线生成的回答轨迹。由于初始学生模型通常生成良性回答,且不会收到来自恶意目标回答的显式监督,OPD 似乎对后门传播具有一定内在抵抗力。
本文挑战这一直觉,揭示了 OPD 中视觉后门传播一种更隐蔽的风险。通过在多个模型家族和数据集上的实验以及理论分析,我们得出三个主要发现。第一,与传统离线蒸馏中相对渐进的传播不同,OPD 在低投毒比例下后门很少出现;然而一旦超过临界阈值,攻击成功率便迅速接近 100%。第二,后门传播不依赖显式的恶意回答,而是由教师分配的异常概率质量的持续累积所驱动。最后,基于这些发现,我们提出一种新颖的触发器设计,可在零显式触发器注入的情况下实现视觉后门传播。这些发现进一步揭示了 OPD 中被忽视的后门传播机制,并凸显了其潜在安全风险。
| 学科: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.22446 [cs.CV] |
| (或本版本的 arXiv:2611.22446v1 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2611.22446 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Zane Fu [查看邮箱]
[v1]
2026年11月17日 星期二 09:15:01 UTC(343 KB)
来源:arXiv cs.AI · arxiv.org