OpenAI 首席研究官 Mark Chen 呼吁前沿实验室共享关键指标并公开自家困惑度数据
OpenAI 首席研究官 Mark Chen 表示,各实验室自写安全案例、自设护栏让 AI 竞赛动态难以摆脱,呼吁前沿实验室披露追踪进展的关键指标,并提出困惑度作为候选标准。他称 OpenAI 已公开自家过去五年的困惑度结果,这些数字此前长期被视为敏感 IP。他还提到,仍需由第三方评测者在相同数据集上测量困惑度,希望以此推动共享关键指标的规范。
Mark Chen· @markchen90 · X·2026-11-23 03:55· 1 小时前AI 评分58
AI 导读
OpenAI 首席研究官 Mark Chen 表示,各实验室自行撰写安全案例、自行设定护栏,导致 AI 竞赛动态难以摆脱;他呼吁前沿实验室披露用于追踪进展的关键指标,并提出以困惑度作为候选标准。
正文 · 原文
当每个实验室都为开发更强大的模型自行撰写安全案例、自行设定护栏时,AI 竞赛动态便难以摆脱。
我们希望前沿实验室在*共同*限制下运作,并以*共享*安全案例为支撑。但问题在于,我们还没有一个良好且面向未来的 AI 进展衡量标准,能在模型不断改进时依然适用。
因此,我们呼吁前沿 AI 实验室披露其用于追踪进展的关键指标,并提出困惑度作为候选之一。我们迈出第一步,公开过去五年我们自己的困惑度结果。
这对我们来说很可怕,因为我们长期将这些数字视为敏感知识产权。我们也知道,要衡量同一数据集上的困惑度仍有工作要做(或许由第三方评估者完成)。但我们希望这能鼓励分享关键指标的规范,从而让我们在此基础上构建共同的安全案例。
在 X 查看被引用的帖子为了迈向共享的安全标准,我们决定对 OpenAI 的预训练进展提供更多透明度。在《困惑度与智能》一文中,我主张基于困惑度及其他测量指标设定共同限制,并在超越这些限制时,以我们理解 AI 行为的能力作为前提条件。
来源:Mark Chen · x.com
事件后续 · 1
来源:RadarAI · aihot.news