arXiv cs.CL· Bingqi Shang, Yang Zhang, Yiwei Chen, Changsheng Wang, Shiyu Chang, Bingquan Shen, Sijia Liu·· 11 小时前AI 评分34
原生安全能否迁移？通过 on-policy 蒸馏跨模型复用安全预训练
Can Native Safety Travel? Reusing Safety Pretraining Across Models via On-Policy Distillation
AI 导读
研究提出“原生安全复用”问题：能否将小型安全预训练“教师”模型的原生安全能力迁移到标准预训练的“学生”模型。方法采用 on-policy 蒸馏，学生生成安全提示词回复，教师对其 token 级预测进行监督，并通过跨 tokenizer 对齐实现跨模型族迁移。
正文 · AI 翻译
摘要：安全预训练已成为一种有前景的范式，可在预训练期间将安全性深度嵌入模型，从而对后续微调产生鲁棒性，而传统安全后训练往往缺乏这种鲁棒性。我们将模型预训练期间获得的这种安全性称为原生安全。然而，原生安全获取成本高昂，仅限于其预训练所在的模型，且往往伴随较低的通用效用。在本工作中，我们重新审视安全预训练模型的实用价值，并首次提出原生安全复用问题：原生安全能否从一个专门的、可能更小的、经过安全预训练的“教师”迁移到标准预训练的“学生”，使其在保持通用效用的同时继承其鲁棒性？我们表明，原生安全可以通过同策略蒸馏“传递”。标准预训练的学生针对安全预训练提示生成响应，而小型安全预训练的教师沿其自身生成的轨迹监督学生的词元级预测；跨分词器对齐进一步实现了跨模型家族的迁移。所得学生在安全鲁棒性上显著优于其安全后训练的对应模型，同时保持比教师更高的通用效用：后续微调仅使 1.7B 学生的平均攻击成功率（ASR）提高 5.00%，而安全后训练为 11.58%，其平均效用 48.20% 远超对齐教师的 27.42%。与传统的大到小知识蒸馏不同，我们的框架实现了选择性的、小到大的安全迁移：它复用了较小预训练教师的鲁棒安全专业知识，而不继承其效用局限。这些发现确立了原生安全是一种可复用的模型属性，而非永久绑定于最初预训练的模型。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.27555 [cs.LG] |
| （或 arXiv:2610.27555v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27555 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bingqi Shang [查看电子邮件]
[v1]
2026年10月20日星期二 03:13:04 UTC（295 KB）
来源：arXiv cs.CL · arxiv.org