跳到正文
arXiv·· 12 天前AI 评分34

SIGMA:从模型规范实现自我改进的对齐泛化

SIGMA: Self-Improving Alignment Generalization from a Model Spec

AI 导读

SIGMA 提出从模型规范(Model Spec)出发实现对齐的自我改进与泛化,以缓解对齐难以验证、能力提升快于安全对齐的风险。现有方法依赖可验证反馈做能力自提升,或依赖更强模型与人工整理数据做对齐训练,形成外部监督瓶颈。

来源:arXiv · arxiv.org