arXiv cs.AI· Yichen Sun, Qirui Liu, Yan Wang, Jianan Lin, Linbo Jiang, Shiyu Wang, Zhibo Wang, Zhixuan Chu·· 11 小时前AI 评分31
SAVeR²：基于可验证奖励的推理型安全对齐方法，消除大推理模型的“安全税”
SAVeR$^2$: Reasoning-based Safety Alignment for Large Reasoning Models via Verifiable Rewards
AI 导读
SAVeR² 是一种面向大推理模型（LRM）的安全对齐方法，通过四项细粒度可验证奖励信号与难度感知数据选择策略稳定训练，并用保推理梯度投影机制解析安全与推理梯度的冲突。在 1.5B 至 671B 参数规模的模型上，该方法在多个 benchmark 中取得更优安全表现、显著降低过度拒答率，且不损害通用推理能力。
正文 · AI 翻译
摘要：大型推理模型（LRMs）通过显式的思维链（CoT）推理取得了令人瞩目的性能，但这一过程引入了严重的安全风险。我们将 LRM 的安全目标形式化为要求非恶意的推理与答案、安全一致性以及显式的意图识别。我们认为，现有的对齐方法存在对抗泛化能力差、对推理造成显著的“安全税”以及粗粒度奖励不忠实等问题，主要原因是它们忽视了 LRM 用于安全的内在推理能力。为解决这些问题，我们提出 \textbf{SAVeR$^2$}，一种通过具备\textbf{推}理能力的\textbf{奖}励实现\textbf{安}全\textbf{对}齐的新方法。SAVeR$^2$ 将安全目标分解为四个细粒度的可验证奖励信号，并采用难度感知的数据选择策略来稳定训练。关键的是，我们引入了一种保留推理的梯度投影机制，以解析方式解决安全梯度与推理梯度之间的冲突，从而有效消除安全税。在从 1.5B 到 671B 的模型上进行的大量实验表明，SAVeR$^2$ 在多个基准上实现了更优的安全性能，并显著降低了过度拒绝率，同时不损害通用推理能力。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.07482 [cs.AI] |
| （或 arXiv:2611.07482v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07482 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yichen Sun [查看邮箱]
[v1]
2026年11月5日星期四 05:42:45 UTC（1,054 KB）
来源：arXiv cs.AI · arxiv.org