arXiv cs.AI· Oleksandr Cherednichenko, Roman Klypa·· 13 小时前AI 评分31
Suan：在大语言模型中矫正直接偏好安全对齐
Suan: Rectifying Direct Preference Safety Alignment in Large Language Models
AI 导读
研究者提出偏好优化算法 Suan，直接在梯度层面构建优化目标、绕过标准变分推导，从而获得更可解释且稳健的训练动态。在多项基线对比与基准评测中，Suan 在实现更优安全对齐的同时完整保留了模型的回答实用性，缓解了开源权重模型后训练中常见的过度拒答与通用质量下降问题。
正文 · AI 翻译
摘要：将稳健的安全防护机制集成到大型语言模型（LLM）中，对于提供有用且无害的回复至关重要。专有系统展现出可靠的安全控制，但其底层方法和权衡在很大程度上仍未公开。在开放权重模型中实现可比的安全性仍是一项持续挑战，因为经过后训练的变体常常出现过度拒答和整体质量下降的问题。为克服这些缺陷，我们提出了 Suan，一种新颖的偏好优化算法。与现有方法不同，我们直接在梯度层面构建优化目标，绕过了标准的变分推导。因此，我们获得了更具可解释性和稳健性的训练动态。在多样化的竞争性基线和基准上进行的广泛评估表明，Suan 在实现卓越安全对齐的同时，完全保持了回复的实用性。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.08634 [cs.LG] |
| （或本版本的 arXiv:2609.08634v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.08634 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Roman Klypa [查看邮箱]
[v1]
2026年9月8日星期二 12:04:38 UTC（426 KB）
[v2]
2026年10月2日星期五 10:27:05 UTC（426 KB）
[v3]
2026年10月26日星期一 19:28:50 UTC（426 KB）
来源：arXiv cs.AI · arxiv.org