跳到正文
RadarAI· X:Greg Brockman (@gdb)·· 3 小时前AI 评分58

Greg Brockman 解读 OpenAI 基于困惑度的预训练共同安全上限提议

AI 导读

Greg Brockman 在 X 上介绍 OpenAI《Perplexity and Intelligence》一文,主张基于困惑度等指标设立开发者承诺不逾越的共同安全上限,并配以明确的退出标准,例如 CoT monitors 的后继工具问世。

正文 · AI 翻译

Greg Brockman· @gdb · X·2026-11-23 03:15· 2 小时前AI 评分52

AI 导读

Greg Brockman 介绍 OpenAI《Perplexity and Intelligence》一文,主张基于困惑度等指标设立开发者承诺不逾越的共同安全上限,并配以明确的退出标准(如 CoT monitors 的后继工具问世)。他认为对齐与监控进展可能不够快,无法支撑预训练的充分加速,目标是形成逐级设限、控制发展节奏的共同框架。

正文 · 原文

我参与创办 OpenAI,是因为我希望 AGI 安全且有益于人类。这篇文章提供了透明度,可以成为全行业共享安全底线的基础。

这篇文章中或许最重要的概念是:“AI 也将显著推动对齐与监控方面的进展,但我认为这种进展不太可能快到足以支撑预训练潜力的充分加速。”

为确保安全能跟上预训练模型通用智能(以“困惑度”衡量)的步伐,文章提出“基于困惑度及其他测量指标的共同限制,开发者承诺在我们理解和监控 AI 行为的能力达到某个具体里程碑(例如 CoT monitors 的后继工具问世)之前不逾越这些限制。”

总体思路是围绕某个共同的关键指标设立第一道共同限制,并配以具体的退出标准,允许在达到标准后突破该限制。这可以促成“一个用于设定逐级限制并控制后续发展节奏的共同框架”。

很高兴能推动这场讨论,朝着植根于科学的共享标准迈进!

引用Jakub Pachocki@merettm

为了让 OpenAI 的预训练进展更加透明,以推动形成共享安全底线,我们决定公开更多信息。在《Perplexity and Intelligence》一文中,我主张基于困惑度及其他测量指标设立共同限制,能否突破这些限制取决于我们理解 AI 行为的能力。

openai.com/index/perplexity-a…

在 X 查看被引用的帖子

来源:Greg Brockman · x.com

事件后续 · 1

查看事件全部

来源:RadarAI · aihot.news