arXiv cs.AI· Seanie Lee, Sangwoo Park, Yumin Choi, Gyeongman Kim, Minki Kang, Jihun Yun, Sung Ju Hwang, Dongmin Park, Jongho Park·· 10 小时前AI 评分42
ThinkSafe：推理模型的自生成安全对齐方法
ThinkSafe: Self-Generated Safety Alignment for Reasoning Models
AI 导读
ThinkSafe 无需外部教师模型，直接从冻结的学生模型生成安全对齐数据，通过拒绝引导激发安全推理并用安全护栏过滤响应后离线微调。在 DeepSeek-R1-Distill 和 Qwen3 上实验显示安全性能大幅提升且推理表现保持竞争力；Qwen3-0.6B 上以约七分之一的实际耗时达到优于 GRPO 的安全效果和相当推理水平。代码、模型和数据集已开源。
正文 · AI 翻译
摘要：大型推理模型通过强化学习取得了强劲性能，但可能遭受安全性退化。外部教师蒸馏可以恢复安全性，却可能损害推理性能。我们将安全再对齐形式化为一个 KL 投影：学生模型原生的、被过滤器接受的分布是唯一 KL 最优的，而教师目标在存在差异时会产生额外的 KL。在此分析指导下，我们提出 ThinkSafe，它从冻结的学生模型生成安全对齐数据，无需外部教师。拒绝引导会激发安全推理，安全防护机制在离线微调前过滤响应。我们的分析界定了引导引起的目标失真，并给出了平均目标 KL 低于教师蒸馏的充分条件。在 DeepSeek-R1-Distill 和 Qwen3 上的实验表明，安全性大幅提升，同时推理性能具有竞争力。在 Qwen3-0.6B 上，ThinkSafe 在约七分之一的挂钟时间内（包括数据生成）实现了比 GRPO 更好的安全性和相当的推理能力。代码、模型和数据集可在 此 https URL 和 此 https URL 获取。
| 评论： | NeurIPS 2026 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2601.23143 [cs.AI] |
| （或 arXiv:2601.23143v5 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.23143 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Seanie Lee [查看电子邮件]
[v1]
2026年1月30日星期五 16:31:02 UTC（605 KB）
[v2]
2026年5月8日星期五 17:26:01 UTC（606 KB）
[v3]
2026年5月12日星期二 15:49:44 UTC（597 KB）
[v4]
2026年5月13日星期三 02:16:49 UTC（597 KB）
[v5]
2026年10月30日星期五 10:17:31 UTC（1,218 KB）
来源：arXiv cs.AI · arxiv.org