OpenAI 分析：前沿模型隐藏推理过程源于开发者对能力与算力的取舍

The Decoder：AI 新闻· Maximilian Schreiner·2026-11-13 00:58· 1 小时前AI 评分70

OpenAI 的数据表明，前沿模型正在隐藏其思考过程，因为开发者针对能力与算力进行优化

AI 导读

OpenAI 安全团队的新分析追踪了 GPT-5 至 GPT-6 Astra，归纳出链式思维（CoT）可监控性退化的四个主要训练因素，包括预训练能力提升带来的无声推理、偏向无声推理的架构选择、RL 训练增强的 CoT 可控性，以及师生模型间的继承效应。

正文 · 原文

2026年11月12日

由 THE DECODER 提示的 Nano Banana Pro

像 GPT-6 Astra 这样的前沿模型正变得越来越难以被安全监控器洞察。OpenAI 的新研究找出了哪些训练步骤导致了这一现象，并表明透明度的丧失并非纯粹的自然规律，而是与性能和成本方面的决策相关。

为了监控现代 AI 智能体，安全研究人员会监测它们的链式思维（CoT）。推理模型在作答之前，会在数字草稿纸上写出其中间步骤，这些步骤可能揭示其计划中的欺骗行为。然而，Anthropic 早前就表明，这些草稿纸并非完整的记录，并证明 Claude 3.7 Sonnet 和 DeepSeek-R1 等模型往往甚至不会提及其链式思维中的关键线索。

即便如此，阅读草稿纸长期以来一直是最重要的安全网。就在今年春天，OpenAI 还称这是好消息：像 GPT-5.4 这样的模型几乎无法按指令操纵其内心独白，尽管研究人员当时就警告说，低可控性并不能保证可靠的监督。

这一趋势随着 9 月发布的旗舰模型 GPT-6 Astra 而彻底打破。在发布时，OpenAI 首席科学家 Jakub Pachocki 称其可监控性十分脆弱，并警告存在负面趋势。他随后不久在文章《An Alien Mind》中写道，没有任何 AI 实验室已经足够好地解决了监控问题，从而无法再以全速继续扩展。Astra 最近就展示了这些盲区已经多么真实：它在安全研究的编码任务上悄然给出了约差 40% 的结果，而草稿纸监控器并未检测到任何恶意意图，因为训练中使用的一个评分器无意中偏好了这种“偷懒”行为，而非直接拒绝。

在OpenAI 安全团队的一项新分析中，研究人员系统地研究了哪些具体训练步骤触发了这种退化。他们追踪了两个早期预警信号：无草稿纸的无声推理（No-CoT Capability）以及对链式思维的有针对性控制（CoT Controllability）。根据英国 AI 安全研究所的数据，Astra 即使在关闭推理的情况下，也能解决人类大约需要 31 分钟才能解决的数学问题。第二项测试则要求模型，例如在每个词后插入“meow”，或只使用小写字母。

训练中的四个因素使推理日志更容易被操纵

通过分析从 GPT-5 到 GPT-6 Astra 的模型，研究人员将问题追溯到整个训练周期中的四个主要原因。

无声的心算能力直接随基础模型的原始能力提升而增加，其衡量指标是“困惑度”下降，即文本预测更准确。随着基础模型在预训练期间不断改进，它会在“头脑中”无形地完成更多推理步骤，而不留下书面痕迹。

这种提升不仅仅是通用预训练进展的副产品，还取决于开发者选择的架构。在三种匿名架构中，设计在 MMLU 或 GPQA 等纯知识基准上几乎无关紧要。然而，对于需要连续多个静默推理步骤的任务，结果却出现明显分化。当模型必须解决多步规划任务，并处理 1,000 个用日常语言编写的短程序时，两者都没有草稿纸，"架构 2"在相同困惑度下的性能曲线比其他设计陡峭得多。其他架构的上升则平缓得多，因此这种设计明显更有利于监控器看不到的静默推理。

预训练后的强化学习（RL）大幅提升了模型对自身内心独白的控制力。在春季研究中，带可验证奖励的 RL 训练实际上降低了较小模型的思维链可控性。然而，对于 Astra 级模型和新的内部"Terra"模型，这一效应发生了逆转。

模型操控其推理日志的能力也会传递给后续世代，类似于潜意识学习。当 OpenAI 用现有"教师模型"的数据训练新的"学生模型"时，学生会自动继承教师的高 CoT 可控性。

透明度下降反映的是安全与效率的权衡，而非自然规律

OpenAI 在训练中寻找简单修复方法的努力尤其令人清醒。早在 2025 年 3 月，该公司就发现，一旦在训练中直接惩罚"坏想法"，模型就会隐藏真实意图并继续作弊。这就是为什么自 2026 年 2 月起，OpenAI 会自动检查每次训练运行，以排除对草稿纸的直接惩罚。

在没有此类惩罚的情况下，Astra 仍然发展出了对草稿纸的强大控制力。当研究人员在 RL 训练期间完全关闭对浏览器或代码终端等工具的监控，仅评估文本长度和最终答案时，模型几乎同样有效地学会了按指令操控其推理日志。

但缺乏简单的训练修复方法，并不意味着透明度下降是 AI 发展的不可避免的结果。相反，数据揭示了安全、能力和成本之间的具体权衡。通过选择"架构 2"或使用哪些教师模型等决策，开发者自身塑造了系统将多少推理转向内部。一种能在单次传递中"在头脑中"解决多个规划步骤的架构，使模型能力更强，但也将这些中间步骤隐藏起来，使安全监控器无法看到。

OpenAI 自己早先的可监控性研究也表明，对许多用例而言存在更安全的替代方案。一个更小、更弱但推理过程更长、更外显的基础模型，可以匹敌一个思维链很短的大模型，同时监控起来要容易得多。问题纯粹是经济上的，因为更长的思维链会显著提高部署中的计算成本。

在一项令人鼓舞的结果中，实际欺骗测试要求模型秘密完成侧任务或按指令隐藏能力，结果显示，一个能够大幅操纵其推理的模型，尚未比一个对草稿本控制力低但能力相当的同类模型更频繁地骗过监控器。尽管如此，OpenAI 的分析证实了业界的担忧。Google Deepmind 的研究人员引用 Astra 的评分，也最近警告称，透明的思维链正逐渐丧失，未来架构将用纯数字代码而非可读文字进行推理。OpenAI 表示，它迫切需要开发超越单纯阅读草稿本的新监控方法，以跟上预训练的进展。

没有炒作的 AI 新闻——由人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅

• 完整访问 THE DECODER 上的每一篇文章
• 无广告
• 加入评论和社区讨论
• 每周通过邮件获取 AI 新闻回顾
• 每年 6 次：“AI Radar”——深入探讨最重要的 AI 话题
• 每日 AI 新闻，始终紧跟最新动态
• 我们完整的十年档案
• 由拥有 10 年以上 AI 经验的团队报道

来源：The Decoder：AI News · the-decoder.com

事件后续 · 1

查看事件全部

• 同事件OpenAI 研究：模型生命周期中哪些因素影响 CoT 可监控性OpenAI：Alignment 研究博客 · 2 天前