跳到正文
OpenAI News·· 22 小时前精选AI 评分62

OpenAI 公开预训练困惑度数据,提议以该指标设立行业共同安全上限

Perplexity and Intelligence

AI 导读

OpenAI 公开其自 GPT-3.5 以来的预训练困惑度数据,主张把困惑度(交叉熵损失)作为跨模型开发者比较和制定共同安全标准的指标。文中给出各代模型的 log-perplexity 数值,GPT-3.5 约 0.99、GPT-4 约 0.91,目前已低于 0.8,并预计进入约 0.68-0.7 区间时会出现新的变革性能力。

推荐理由

OpenAI 公开自家预训练困惑度曲线,并据此提出跨实验室的共同安全上限设想,读者可了解其衡量智能进展的指标逻辑。

正文 · AI 翻译

从远处看,现代 AI 的构建方式似乎与过去几十年软件的构建方式相似:使用多种针对特定能力的技术。确实存在多种方法,但它们大多并非从零开始设计,而是利用来自一个更简单、更难以解释的过程的智能:在非常大的数据语料库上训练一个压缩器(或者,等价地说⁠(在新窗口中打开),预测器)。1

我认为,跟踪训练更好压缩器的进展速度是理解 AI 发展轨迹的关键。在这篇文章中,我主张将困惑度(或等价地,交叉熵损失)确立为一个指标,用于比较不同模型开发者并推动共享安全标准。作为第一步,我提供了更多关于 OpenAI 预训练进展的透明度。公布我们内部的困惑度测量值需要一些考量;这会让竞争对手更清楚地了解我们的处境,但这种担忧被在整个行业建立共享⁠(在新窗口中打开)安全措施的紧迫性所压倒。我们 OpenAI 希望这能成为迈向为未来节奏控制努力构建共享科学基础的一步。

对 AI 发展的一种简化但根本上富有信息量的看法是:首先,构建一台大型计算机,然后用它在大型非结构化数据集上预训练 一个模型(压缩器),接着在不同情境中应用各种技术——如提示、微调或强化学习——来激发该模型的潜在能力。算法进步可能模糊训练阶段之间的界限,但我们仍然可以区分具有难以预测的涌现能力的 AI 的创造(我此前称之为“异类心智⁠”)以及随后的针对性激发。

多年来,我们衡量这一关键“智能基底”进展的主要方式一直保持得相当稳定——我们一直在跟踪模型在留出数据集上的困惑度。2, 3 困惑度衡量模型平均预测下一个 token 的效果;困惑度越低意味着预测越好。本博客文章开头的图表展示了从 GPT‑3.5 开始,这一指标在我们的模型上如何演变。

这个单一指标所大致描述的模型能力范围令人震惊。在较旧数据集上创下新的困惑度最优水平4,GPT‑2 可以说是第一个能够持续生成连贯段落的模型。下一个重大飞跃 GPT‑3 能够在给定任务示例的情况下进行上下文学习。GPT‑3.5 在我们当前主要评估数据集上的对数困惑度约为 0.99,能够进行流畅对话,并构成了初代 ChatGPT 的基础。GPT‑4 约为 0.91,擅长高效利用思维链推理,这推动了随后对这一能力的有针对性激发以及现代推理模型的创建。如今,随着我们的损失降至 0.8 以下,我们已在网络安全和数学等领域看到变革性能力的涌现。我想再次强调,先验地完全不清楚一旦达到这些精确的困惑度阈值,这些能力是否就会出现——它们从根本上可以被视为在这一单一指标进展中涌现出的潜在能力。

随着 AI 飞速发展,我们衡量下游能力的范围与方式可能迅速变化。用大多数现代基准来评估 GPT‑2 和 GPT‑3 几乎没有意义;而当时使用的基准在 GPT‑4 附近已基本饱和。相比之下,我认为关注预训练进展很可能仍能提供有价值的信息。

进展速度的一个特殊变化来自 AI 对自身发展的贡献日益增加。最常被讨论的指标围绕 AI 在开发周期各阶段增强和替代人类研究人员;最终拐点被视为“完全递归自我改进”,即整个过程完全自动化、无需人类监督。除了认为出于维持人类控制的考虑我们显然应避免这种状态之外,我认为这种总体框架遗漏了关键的一点。一个潜在的阶跃变化可能来自 AI 参与开发过程的一个关键部分:预训练算法研究。

我们最近在另一个领域目睹了前所未有的加速。一年多来,我们一直向模型提出数学开放问题,作为评估它们的方式之一。当我们升级到对数困惑度约 0.76 的模型后,它开始产生突破性成果。对于我们许多曾在数学及相关领域工作过的人来说,看到我们长期思考的问题的解答在一个 Slack 线程中接连从模型输出,感觉极度超现实。有过这种经历使我们能够外推——这种突然的转变在深度学习研究中也是可能的。尽管该领域更依赖实验,但多年来错过简单洞见的例子由来已久;因此最早到 2027 年,我们就有可能看到基础预训练进展出现类似的雪崩式突破5。虽然我预计 AI 也会对对齐和监控方面的进展做出重大贡献,但我认为这方面的进展不太可能快到足以让预训练实现全部潜在加速。

鉴于新的惊人能力主要通过压缩方面的进展而涌现,而压缩是一种植根于困惑度的度量,因此困惑度可以为我们提供一个衡量通用智能的共享基准,无论开发过程的自动化程度如何。从近期的进展外推,当我们进入约 0.68-0.7 的对数困惑度区间时,我们应当预期会出现进一步的变革性能力。我不知道那些能力会是什么,而且我们今天可能并没有在测试它们。与此同时,我们也应当预期进一步退化⁠(在新窗口中打开),出现在当前占主导地位的对齐审计形式中,并且评估与训练意识会进一步增强。我认为前沿模型开发者应当共同努力,在模型首次被使用之前,就如何评估此类模型以及为其安全案例进行红队测试建立共同规范,包括共同的透明度标准。我进一步提议共同限制,基于困惑度和其他测量指标,开发者承诺在我们理解和监控 AI 行为的能力达到某个具体里程碑(例如开发出 CoT 监控器的后继者)之前不越过这些限制。也就是说,我希望有一个行业标准,规定发展的第一道限制,由我们可以在各实验室之间追踪的某个关键指标来衡量,以及在超越它之前我们具体需要实现什么。我希望这能为建立一个共同框架铺平道路,以设定 successive 限制并为进一步发展定下节奏。

困惑度作为共享指标存在挑战:

  • 跨实验室比较的困难。不同开发者使用不同的评估数据集,并在不同的数据混合上训练。在这里,我们报告的是我们一直在追踪的主要数据集上的数字;我相信,如果我们确立透明度的目标,我们就能找到可迁移的方法来比较不同基础模型的质量。

  • 与可操作的评估脱节。困惑度并不直接对应于我们关心的任务。关心它的理由是,我们可以预期它上面的进展会带来全新能力的涌现。

  • 未考虑预训练之外的进展。最值得注意的是,思维链推理并不会降低模型所达到的困惑度,尽管它会带来能力的急剧提升。

  • 未知的下限。我们不认为有可能实现损失为 0,那将对应于能够完全确定性地预测数据集。但我们不知道数据的固有熵是多少。随着我们接近它,困惑度上的表面进展会放缓,但困惑度上更小的增益将对应于模型智能上更大的飞跃。

与此同时,困惑度作为许多研究团队投入大量精力优化的指标,已经经受住了时间的考验,并且它继续在通用智能上带来持续的增益。我相信它可以在标准化我们谈论 AI 进展的方式方面发挥重要作用,并希望看到整个行业对此有更多的透明度。

来源:OpenAI News · openai.com