OpenAI 据称年内将发布至少一款新模型，旗舰模型仍需对齐工作

OpenAI 正加紧完成其下一代旗舰模型，该模型采用了与 Astra 相同的循环 transformer 技术。这种方法提升了数学和编程性能，但也让安全监控变得更困难。员工表示，年底前可能会发布一到两个新模型。

据员工称，OpenAI 可能会在年底前发布“一到两个新模型”，但目前尚不清楚公司正在开发的“重大升级模型”是否在其中。这一消息来自 The Information，援引知情人士的说法。

新旗舰模型可能还需要一段时间才能面世。该模型需要进行对齐工作，使其目标与 OpenAI 研究人员和客户的期望相符。公司还必须加强围绕该模型的测试基础设施，才能继续推进。

在领导层对安全评估感到满意之后，还有另一道障碍。根据特朗普总统关于先进 AI 系统评估的行政命令，OpenAI 同意在向外部合作伙伴提供新模型前最多 30 天、在公开发布前更早地向美国政府开放访问权限。

循环 transformer 同时驱动 Astra 和下一代旗舰模型

据一位知情人士称，新旗舰模型也使用了循环 transformer。OpenAI 已在生产环境中运行这项技术，内部称之为“Recurrent Depth”。它是公司当前顶级模型 Astra 工作原理的核心。模型不是将 token 一次性通过 transformer 层，而是将其多次循环通过相同的层，然后输出下一个词。这提升了数学和编程性能，并降低了成本，因为较小的模型可以发挥出超常的水平。

但循环也将模型的部分“思考”从可读文本转移到了人类审查者无法检查的内部数值表示中。这削弱了思维链监控，即安全研究人员通过追踪模型的推理来发现不良行为。据 The Information 报道，OpenAI 刻意限制了 Astra 的循环次数，以保持其思维链的可读性。

据一位了解相关数据的人士称，在 Hugging Face 事件之后，OpenAI 将约百分之十的总算力转向了对齐和安全。The Information 报道称，这相当于数百兆瓦的数据中心容量，不过尚不清楚此前有多少算力分配给安全，以及当前的比例如何。按市场价格计算，OpenAI 转移的算力每年租赁成本将达数十亿美元。AI 研究员 Noam Brown 在九月中旬的一档播客中表示，他团队中约百分之十的人也从事安全与保障工作。

微软意外泄露了 OpenAI 循环推理的工作方式

OpenAI 实际如何使用这项技术，是通过微软的一次失误曝光的。这家主要投资方可以访问 OpenAI 的知识产权，它发布了一篇关于 GPT-6.1 Sol 的技术文章，这是 OpenAI 本月早些时候推出的更便宜的 Astra 替代品。

在一个现已被删除的章节中，微软将 GPT-6.1 Sol 描述为使用“循环推理”，即模型在给出答案之前通过多个“轮次”处理同一个问题。The Information 从该页面的缓存副本中引用道，GPT-6.1 Sol“使用与 GPT-6 Sol 相同的基础模型权重，但推理轮次为两次而非三次”。

一名直接知情人士证实，该文章内容与 OpenAI 私下告知微软的信息一致。微软在意识到该内容本不打算公开后，将其下架。据 The Information 报道，循环 Transformer 在 OpenAI 的模型开发中仍是一个敏感部分，无论是在训练阶段还是推理阶段。

OpenAI 首席科学家 Jakub Pachocki 已经 承认，思维链监控正变得愈发“脆弱”，并且“不幸的是，正朝着负面方向发展”。他还警告称，不要在整个行业范围内竞相追求没有可读推理过程的模型。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻通讯、我们每年六期的独家“AI Radar”前沿报告、完整档案访问权限，以及评论区访问权限。