arXiv cs.AI· Jiawei Chen, Yi Zhang, Jiawei Du, Zhonghou Lv, Tairan Chen, Junyuan Shang, Jinchang Hou, Xiao Yang, Yu Tian, Chenfu Bao, Chao Yu, Zhaoxia Yin·· 11 小时前AI 评分34
重新思考 GRPO：面向大型推理模型安全对齐的 Beacon 框架
Rethinking GRPO for Large Reasoning Model Safety Alignment
AI 导读
针对 GRPO 在大型推理模型安全对齐中的不足，研究者提出 Beacon 框架，包含安全信号恢复（SSR）与安全-效用解耦对齐（SUDA）两部分，用于解决优势坍缩和不安全多样化两种失效模式。在四个 Qwen3 与 DeepSeek-R1-Distill 变体、八个基准上，该框架取得最佳平均安全与推理表现，平均安全错误率最多降低 32.83 个百分点，同时保持较低的过度拒答。
正文 · AI 翻译
作者：Jiawei Chen、Yi Zhang、Jiawei Du、Zhonghou Lv、Tairan Chen、Junyuan Shang、Jinchang Hou、Xiao Yang、Yu Tian、Chenfu Bao、Chao Yu、Zhaoxia Yin
摘要：大型推理模型（LRM）展现出强大的推理能力，但仍易产生不安全的输出。尽管组相对策略优化（GRPO）被广泛用于安全对齐，但其组相对优化可能提供不足的安全导向学习信号。本文识别出两种失效模式：优势坍缩，即同质的 rollout 组导致优势消失；以及不安全多样化，即不安全行为持续存在并变得日益多样。我们的理论分析表明，行为一致性会削弱组内安全对比，而当相对信号消失时，熵正则化会使不安全回复多样化。为应对这些挑战，我们提出 Beacon，包含安全信号恢复（SSR）与安全-效用解耦对齐（SUDA）。SSR 结合优势引导的轨迹筛选与安全参考监督，以恢复有效的安全学习信号；SUDA 采用类别感知奖励与仅良性 KL 锚定，在不损害安全性的前提下缓解过度拒答。在四个 Qwen3 与 DeepSeek-R1-Distill 变体及八个基准上的实验表明，我们的框架取得了最佳的平均安全与推理性能，将平均安全错误率最多降低 32.83 个百分点，同时保持较低的过度拒答率。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.23085 [cs.AI] |
| （或 arXiv:2610.23085v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23085 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiawei Chen [查看邮箱]
[v1]
2026年10月16日星期五 07:53:36 UTC（1,704 KB）
来源：arXiv cs.AI · arxiv.org