arXiv cs.AI· Kun Zhai, Teng Li, Yunhao Feng, Xingjun Ma·· 11 小时前AI 评分31
ShadowFPT：利用影子触发器对联邦提示微调实施后门攻击
ShadowFPT: Backdooring Federated Prompt Tuning via Shadow Triggers
AI 导读
ShadowFPT 是一种针对联邦提示微调（FPT）的定向后门攻击，利用共享冻结的 CLIP 视觉编码器，先在表征空间预训练可学习的影子触发器，再在联邦训练中仅上传提示参数以保持隐蔽。在多个数据集、聚合规则和非 IID 分区下，主实验设置将攻击成功率从 19.81% 提升至 90.36%，同时保持干净准确率，且在文本、视觉及联合视觉-语言提示微调中均有效。
正文 · AI 翻译
摘要：联邦提示微调（Federated Prompt Tuning, FPT）通过冻结预训练骨干网络、仅在客户端间优化轻量级提示参数来适配大型视觉-语言模型。尽管这一设计提升了通信与参数效率，却也带来了一个被忽视的安全风险。由于骨干网络是共享且冻结的，恶意客户端可以在表示空间中诱导后门行为，同时使其上传的提示更新与良性更新保持接近。我们提出 \textbf{ShadowFPT}，一种针对该冻结骨干攻击面的定向后门攻击。ShadowFPT 首先针对冻结的 CLIP 视觉编码器预训练一个可学习的 \emph{Shadow Trigger}，使用辅助公开数据或恶意客户端的本地数据，使被触发的输入在表示空间中被导向目标类别。在联邦提示微调过程中，恶意客户端在当前全局提示下适配该触发器，然后在干净样本和触发样本上优化其本地提示。只有提示参数被上传到服务器，而触发器和冻结编码器保留在本地。通过将大部分攻击负担从提示更新转移到触发器诱导的表示引导，ShadowFPT 在保持提示空间隐蔽性的同时实现了定向误分类。在多个数据集、聚合规则和非独立同分布联邦划分下，ShadowFPT 在我们的主要设置中将攻击成功率从 19.81\% 提升到 90.36\%，同时保持干净准确率。它在文本、视觉以及联合视觉-语言提示微调中均保持有效。这些结果将冻结骨干网络识别为联邦提示微调中隐蔽且未被充分探索的后门攻击面，表明仅基于提示更新异常检测的防御是不够的。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22871 [cs.AI] |
| （或 arXiv:2610.22871v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22871 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kun Zhai [查看邮箱]
[v1]
2026年10月16日星期五 03:22:06 UTC（1,537 KB）
来源：arXiv cs.AI · arxiv.org