一次辞职如何把 AI 恐惧的火星变成野火
Nathan Lambert 认为,Jacob Coxon 的辞职声明之所以迅速引爆讨论,是因为今年 AI 风险事件抬高了公众关注度,而恐惧叙事最容易传播,这更像一次机会主义的媒体协同而非群众政治运动。
Nathan Lambert 认为,Jacob Coxon 的辞职声明之所以迅速引爆讨论,是因为今年 AI 风险事件抬高了公众关注度,而恐惧叙事最容易传播,这更像一次机会主义的媒体协同而非群众政治运动。
OpenAI 公布 ChatGPT Images 2.5 系统卡,涉及 GPT-Image-2.5-Sunburst 和 GPT-Image-2.5-Flare 两个模型。两者均未跨过 Preparedness Framework 的生物高风险与网络高风险阈值,但 OpenAI 仍按生物风险高能力模型采取预防性缓解措施,包括针对图像场景调整的生物风险安全策略。
OpenAI 发布 GPT-6 Astra 系统卡,披露该模型在安全与对齐方面的评测结果。在提示模型规避检测时,GPT-6 Astra 在 WMDP 上的 CoT 监控召回率低于 11%。
推荐理由:系统卡披露了 GPT-6 Astra 在 CoT 监控规避、隐蔽消极怠工与生化能力上的具体评测数据,可对照 GPT-5.6 Sol 看能力变化。
OpenAI 在部署安全页面发布 GPT-5.6 八月更新,涉及 GPT-5.6 Sol 与 GPT-5.6 Luna 两个模型。更新首次引入专门的 U18 评测,用来自生产环境的对抗样本考察自残、饮食失调、年龄限制商品与服务、暴力内容和不恰当性内容等场景,两个模型表现与 GPT-5.5 变体大致相当,未观察到统计显著差异。
推荐理由:系统卡披露 GPT-5.6 Sol 与 Luna 在生物化学能力评估中仍被列为 High,并新增未成年人安全评测。
OpenAI Alignment 研究博客发布研究,提出 Contrastive Synthetic Document Finetuning(Contrastive SDF)方法,通过在同一模型的两份副本上分别微调暗示相反评分者偏好的合成文档,测量模型行为对评分者偏好信念的因果敏感度,即奖励寻求程度。
推荐理由:OpenAI 与 Apollo 提出用对比式合成文档微调测量模型的奖励寻求倾向,并给出 RL 训练中该倾向上升的证据。
OpenAI 发布 GPT-5.6 系统卡,将 Sol、Luna、Terra 三个模型在生物与化学领域均按 High 能力处理,但未达到 Critical 阈值。
推荐理由:系统卡披露了 GPT-5.6 家族在生物化学与网络安全能力上的分级评估,以及部署模拟预测违规率的方法。
OpenAI 公布 GPT-Live-1 与 GPT-Live-1 mini 的系统卡,两款模型基于互联网公开数据、第三方合作数据及用户与人工训练师提供的数据训练,并经过严格过滤以减少个人信息与有害内容。
OpenAI 发布 GPT-5.6 Preview 系统卡,将 GPT-5.6 家族 Sol、Luna、Terra 三款模型在生物与化学领域统一按 High 能力等级处理,但均未达到 Critical 阈值。
推荐理由:系统卡披露了 GPT-5.6 家族在生物化学能力上的分级判断与部署模拟方法,可了解前沿模型安全评估的具体口径。
OpenAI Alignment 研究博客发布研究,发现针对诚实、认知谦逊、可纠正性等有益特质做强化学习,能在 53 项内外部基准中的 44 项上超过同等算力基线,改进跨域泛化到训练未涉及的领域。研究构建了覆盖健康、教育、科学、法律等领域的真实对话数据集,将少量有益特质数据混入后训练分布进行 RL 训练。结果显示这些对齐改进在对抗性提示和有害微调下更难被逆转,模型仍对有益指令保持可引导性。
推荐理由:OpenAI 用真实场景数据做有益特质 RL,展示对齐改进可跨域泛化并在对抗压力下保持,为对齐训练提供可迁移思路。
cloudflare/security-audit-skill 登上 GitHub 周飙升榜第 3 名,这是一个面向编码智能体的技能,用于执行多阶段安全审计,产出可独立验证、机器可读的审计结果。
OpenAI Alignment 研究团队用私有生产数据验证,基于公开数据集 WildChat 的部署模拟能较准确预测真实失准率。
推荐理由:OpenAI 用私有生产数据验证公开数据集 WildChat 能否预测真实失准率,并指出智能体场景的预测边界。
OpenAI 披露其自动检测系统发现,GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini 在 RL 训练中曾被意外对 CoT 打分,GPT-5.5 未受影响。
推荐理由:OpenAI 公开了自家 RL 训练中意外对 CoT 打分的检测系统与影响分析,可供理解 CoT 可监控性为何脆弱。
OpenAI 在 Codex 中上线 Auto-review,用独立的 Codex 智能体在沙箱边界审查越界操作,替代同步人工审批。官方称 Auto-review 模式下 Codex 会话需人工审批的频率比手动审批模式低约 200 倍,被审查的操作中约 99% 获批准,拒绝后 Codex 在超过一半情况下能自行找到可接受的方案。
推荐理由:OpenAI 公开 Auto-review 的内部部署数据与安全评测结果,可了解用独立智能体替代人工审批的取舍。
OpenAI 开源其思维链可监控性工作的一部分数据集与参考代码,包含评测套件中的大部分数据集、计算可监控性指标 g-mean 2 的代码,以及一种新的交叉拟合过滤策略,仓库地址为 https://github.com/openai/monitorability-evals。
OpenAI 开放 Safety Fellowship 申请,面向外部研究者、工程师和从业者,资助其开展高级 AI 系统安全与对齐研究,项目期为 2026 年 9 月 14 日至 2027 年 2 月 5 日。