研究提出跨模型复用原生安全的在线蒸馏方法
热点事件持续更新
研究提出跨模型复用原生安全的在线蒸馏方法
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Bingqi Shang等作者提出“原生安全复用”问题：能否把经过安全预训练的小型“教师”模型的原生安全能力，迁移到只做标准预训练的“学生”模型。方法采用 on-policy 蒸馏，由学生生成安全提示词的回复，教师对其 token 级预测进行监督，并通过跨 tokenizer 对齐实现跨模型族迁移。作者称实验显示原生安全能通过 on-policy 蒸馏“迁移”。
AI 根据报道生成 · 1 小时前更新
最新进展10月21日 12:00
原生安全能否迁移？通过 on-policy 蒸馏跨模型复用安全预训练报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- arXiv cs.CL原生安全能否迁移？通过 on-policy 蒸馏跨模型复用安全预训练
研究提出“原生安全复用”问题：能否将小型安全预训练“教师”模型的原生安全能力迁移到标准预训练的“学生”模型。方法采用 on-policy 蒸馏，学生生成安全提示词回复，教师对其 token 级预测进行监督，并通过跨 tokenizer 对齐实现跨模型族迁移。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。