OpenAI用自动化红队训练提升GPT-6 Astra抗越狱能力

OpenAI在Alignment研究博客中称，其用自动化红队方法训练GPT-6 Astra和Sol，使两款模型在网络、生物、暴力活动等高风险领域更能抵御越狱。做法是让攻击者模型反复改写提示词生成越狱样本，再把这些样本作为训练数据做强化学习。 OpenAI称，图中关键结果衡量的是模型在没有生产防护措施情况下的鲁棒性；在实际部署中，安全训练只是整体防护体系的一层。对于高风险能力，OpenAI表示通过Daybreak（网络安全）和Rosalind（生物）等可信访问计划，只向经过审核的可信用户开放。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。