arXiv cs.AI· Jinghao Pang, Jitai Hao, Qiang Huang, Zhaochun Ren, Jun Yu·· 10 天前AI 评分27
SSRFT：将安全对齐重构为安全角色内化，提升 LLM 越狱鲁棒性
Beyond Refusal Patterns: Safe-Role Internalization for Robust and Generalizable LLM Safety Alignment
AI 导读
研究者提出 SSRFT（Supervised Safe-Role Fine-Tuning），首个将安全对齐重构为"内化预定义安全角色"的框架，基于心理测量问题、少量越狱提示词和安全角色描述构建 SRQA 数据集，合成并扩展角色一致的回答。
正文 · AI 翻译
摘要：大型语言模型（LLM）已展现出卓越的能力，但仍易受越狱攻击的影响，从而输出有害或不安全的内容。现有的安全对齐方法，包括监督微调（SFT）和基于人类反馈的强化学习（RLHF），通常需要大量针对特定攻击的监督和计算资源，同时仍易受浅层安全对齐和过度拒绝的影响。为应对这些挑战，我们提出了 SSRFT（Supervised Safe-Role Fine-Tuning，监督式安全角色微调），这是首个将安全对齐重新表述为内化预定义安全角色的框架。SSRFT 从心理测量学问题、有限的越狱提示词以及安全角色描述中构建安全角色问答（SRQA）数据集。角色一致的回复经过合成、验证并扩展为多样化场景，使模型能够内化安全导向的价值观和原则，而非显式的拒绝模式。在多个 Base 和 Instruct 模型上的实验表明，SSRFT 实现了比标准 SFT 更稳健、更具泛化性的安全对齐。SSRFT 对预填充攻击表现出显著更强的稳健性，对未见过的越狱领域具有更好的泛化能力，同时减少了对良性查询的过度拒绝，并保留了模型的通用能力。这些结果确立了安全角色内化作为以拒绝为中心的安全对齐的有效替代方案。警告：本文包含有害和有毒语言的示例。
| Comments: | 27 页，7 张图，审稿中 |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL）；信息检索（cs.IR） |
| Cite as: | arXiv:2610.07023 [cs.AI] |
| （或 arXiv:2610.07023v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07023 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Jinghao Pang [查看邮箱]
[v1]
2026年10月4日星期日 15:50:42 UTC（1,991 KB）
来源：arXiv cs.AI · arxiv.org