arXiv cs.AI· Qirui Liu, Yichen Sun, Yan Wang, Yu Mi, Wei Cao, Yue Shen, Zhixuan Chu, Kui Ren·· 14 小时前AI 评分31
EOPSA：高效的在策略自蒸馏安全对齐方法
EOPSA: Efficient On-Policy Self-Distilled Safety Alignment
AI 导读
研究者提出 EOPSA，针对在策略自蒸馏（OPSD）安全对齐中的监督崩塌与梯度稀释两大瓶颈，将计算和梯度预算集中到安全关键 token 上。
正文 · AI 翻译
摘要：On-Policy Self-Distillation（OPSD）已成为一种颇具前景的安全对齐范式，它通过从以拒绝为导向的特权提示为条件的教师模型中进行蒸馏，提供密集的 token 级监督。然而，我们揭示该范式存在严重的低效问题，会同时降低训练效率和通用推理能力。具体而言，我们诊断出两个根本性瓶颈：(1) 长程 rollout 中的监督崩塌，即随着学生模型生成前缀变长，教师的纠错效果急剧下降，向后期 token 注入噪声梯度；(2) 风格偏移导致的梯度稀释，即蒸馏目标被特权提示所引发的与安全无关的风格差异所主导，冲淡了真正的安全信号并损害基础推理能力。为解决这些问题，我们提出高效同策略自蒸馏安全对齐（EOPSA），它将计算和梯度预算专门集中于可可靠监督的安全关键 token 上。EOPSA 包含两个协同机制：(i) 自适应 Rollout 调度，由一种新的教师救援率（TRR）指标引导，动态限定生成长度，从而严格运行在可靠监督范围内；(ii) 选择性蒸馏，过滤掉安全中性 token，将梯度更新仅限制在安全关键的状态转移上。在参数量高达 32B 的推理模型上进行的广泛评估表明，EOPSA 将 rollout 计算量削减约 50%，仅对约 2% 的 token 进行反向传播，在安全合规性和推理能力保持两方面均持续优于全 token 蒸馏基线。
| 评论： | 32 页，9 幅图。代码和模型可在项目仓库获取 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.34519 [cs.AI] |
| （或本版本的 arXiv:2609.34519v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.34519 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qirui Liu [查看邮箱]
[v1]
2026 年 9 月 28 日星期一 07:56:19 UTC（4,813 KB）
[v2]
2026 年 10 月 24 日星期六 05:11:21 UTC（5,088 KB）
来源：arXiv cs.AI · arxiv.org