arXiv cs.AI· Jingyu Zhang, Shruti Palaskar, Daniel Khashabi, Benjamin Van Durme, Leon A. Gatys, Joseph Yitan Cheng·· 10 天前AI 评分41
SIGMA：从 Model Spec 出发的自改进对齐泛化
SIGMA: Self-Improving Alignment Generalization from a Model Spec
AI 导读
SIGMA 是一套数据生成与训练流程，仅凭一份描述模型期望行为的 Model Spec，就能让模型利用自身推理能力强化安全推理，实现对齐自改进。它先由候选模型作为任务设计智能体合成对齐困境场景，再通过监督微调和基于评分标准的强化学习、以模型自身为奖励模型完成自评判对齐训练。
正文 · AI 翻译
摘要：LLM 智能体在执行复杂任务以及针对易于验证的目标（如软件工程和数学）进行递归自我改进方面的能力日益增强。由于对齐更难验证，这带来了能力增长而缺乏适当安全对齐的日益增长的风险，尤其是在能力扩展到自主研究和网络安全领域时。现有方法侧重于使用可验证反馈进行能力自我改进，或使用更强模型或精选数据的监督进行对齐训练，这为对齐造成了外部监督瓶颈。我们探究当前模型能否改进自身的安全对齐，并提出 SIGMA，一种数据生成与训练流水线，能够实现可泛化到分布外场景的对齐自我改进。仅给定一个陈述模型期望行为的“Model Spec”，SIGMA 利用模型的推理能力来强化其自身的安全推理。SIGMA 首先执行规范引导的任务合成，将候选模型用作任务设计智能体，生成多样化的对齐困境场景，并将其转换为对其 Model Spec 理解进行压力测试的训练任务。接下来，SIGMA 通过监督微调和基于评分标准的强化学习进行自我评判的对齐训练，以模型自身作为奖励模型。尽管仅在单轮聊天数据上训练，SIGMA 在多轮智能体环境中改进了安全对齐（AgentHarm 有害性从 22.6 降至 14.8；Agentic Misalignment 从 79.1 降至 3.8），优于 Deliberative Alignment 和 Constitutional AI 基线，并保留了通用能力。分析表明，平衡无害性与有用性的 Model Spec、用于安全审议的测试时推理，以及来自 SIGMA 任务设计智能体的高质量评分标准，对于有效的自我改进至关重要。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07935 [cs.AI] |
| （或 arXiv:2610.07935v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07935 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jingyu Zhang [查看邮箱]
[v1]
2026年10月6日星期二 08:09:56 UTC（14,846 KB）
来源：arXiv cs.AI · arxiv.org