arXiv cs.AI· Jian Luo, Kehan Qi, Qingqiao Hu, Meilong Xu, Jiacheng Qiu, Weimin Lyu, Jiawei Zhou, Chao Chen·· 10 天前AI 评分27
安全对齐的 on-policy distillation 会传播后门吗？
Does On-Policy Distillation for Safety Pose Backdoor Risks?
AI 导读
研究发现，安全对齐但被植入后门的教师模型可通过 on-policy distillation（OPD）将隐藏恶意行为传给原本干净的学生模型，3% 的投毒率即可让蒸馏后学生模型的攻击成功率（ASR）高达 70%。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）作为一种将教师模型能力迁移至学生模型的有效方法，正受到越来越多的关注。近期研究进一步探索将 OPD 作为提升大语言模型安全性的工具，并取得了有前景的结果。然而，这些方法通常假设教师模型和训练数据是可信的。在本文中，我们揭示了 OPD 在安全性方面一个被忽视的威胁：一个安全对齐但被植入后门的教师模型可以将其隐藏的恶意行为传播给初始干净的学生模型。在我们的威胁模型下，低至 3% 的投毒率即可使蒸馏后的学生模型达到高达 70% 的攻击成功率（ASR）。我们进一步识别出两种会放大该风险的训练选择。第一，增加训练轮数即使在低投毒率下也能导致高 ASR。仅用 10 个投毒样本，训练 16 轮后 ASR 即达到 67%。第二，常用的 top-k KL 会加速后门迁移，在大多数设置下使触发条件相关的有害行为比采样 token KL 更早出现。除这些发现外，我们探索了一种简单的缓解方法——Lazy Defense，它通过裁剪 KL 奖励使学生更新不那么激进，从而限制激进更新并减缓后门学习。实验表明，Lazy Defense 在低投毒率设置下可延迟后门迁移。总之，我们的发现揭示了 OPD 可以传播后门，凸显了应对 OPD 安全风险的必要性。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07654 [cs.LG] |
| （或 arXiv:2610.07654v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07654 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
发件人：Jian Luo [查看邮箱]
[v1]
2026年10月6日星期二 02:50:07 UTC（373 KB）
来源：arXiv cs.AI · arxiv.org