跳到正文
热点事件持续更新

OpenAI 部署激活分类器监控模型输出

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

OpenAI 称已训练并部署激活分类器(探针)作为额外安全层,自 GPT-5.6 起运行在所有助手回复上,并已用于其能力最强模型的内部和外部流量。探针读取模型内部激活、逐 token 实时评分,可在生成中途阻断违规回复和工具调用,再交由推理模型复审。 OpenAI 称实验显示,探针比更大的文本分类器对测试的越狱攻击更鲁棒,准确率随模型能力提升,且在后训练各检查点间迁移良好。探针是对其他安全措施的补充而非替代;它依赖被监控模型的激活值,新基础模型需重新训练,权重变化时可能也需重训,且只能检测可显式训练的已知违规类型。

AI 根据报道生成 · 56 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. RadarAI
    OpenAI 训练并部署激活分类器作为前沿模型安全监控层

    OpenAI 自 GPT-5.6 起在其最强模型的内部和外部流量上部署激活分类器(探针),利用模型内部激活逐 token 实时评分,可在生成中途阻断违规回复和工具调用并交由推理模型复审。实验显示探针比更大的文本分类器对测试的越狱攻击更鲁棒,准确率随模型能力提升,且在后训练各检查点间迁移良好。探针需为新基础模型重新训练,且只能检测可显式训练的已知违规类型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。