OpenAI 首席科学家 Jakub Pachocki 提出以困惑度作为限制 AI 发展的衡量基准
OpenAI’s chief scientist has thoughts on how to limit AI development
OpenAI 首席科学家 Jakub Pachocki 在博客文章中提出,可以用困惑度(perplexity)作为衡量 AI 进展的共享基准,并据此为 AI 发展设定共同上限。
OpenAI 首席科学家 Jakub Pachocki 在一篇新博客文章中讨论了 AI 发展的潜在限制,重点聚焦于一种名为困惑度(perplexity)的衡量指标。
在一位前 OpenAI 和 Anthropic 研究员称这些公司“拿我们的生命赌博”之后,放缓 AI 发展成为尤为热门的话题,甚至Anthropic 的 IPO 文件也暗示该技术可能“对社会构成灾难性或生存性风险”。
随后,Anthropic CEO Dario Amodei 发布了一项计划,旨在“为前沿发展定速”,该计划似乎得到了 OpenAI CEO Sam Altman 和 SpaceX CEO Elon Musk 的认可。Amodei 在计划中呼吁各公司同意“共同的安全标准,以及对不受约束的 AI 进展速度加以限制”。
但要为 AI 发展设定速度上限,就需要就如何衡量速度达成一致。Pachocki 的文章——被Altman 描述为“OpenAI 一段时间以来发布的最重要的东西”——表明困惑度(不要与同名公司混淆)可能就是这一衡量指标。
在 Pachocki 的论述中,随着技术进步,聚焦于 AI“下游能力”的基准测试很快就过时了。但困惑度——“衡量模型平均预测下一个 token 的能力;困惑度越低意味着预测越好”——却始终“具有参考价值”。
Pachocki 的文章包含一张图表,展示了 OpenAI 模型自 GPT 3.5 以来困惑度的下降情况。
“GPT‑4 的困惑度约为 0.91,能够高效地利用思维链推理,这促成了随后对这一能力的有针对性激发以及现代推理模型的诞生,”他写道。“如今,随着我们的困惑度降至 0.8 以下,我们已在网络安全和数学等领域看到了变革性能力的出现。”
因此在他看来,困惑度可以为“通用智能的共享基准”提供基础,AI 公司随后可据此设定“共同限制”。以困惑度作为 AI 进展的标准衡量指标,各公司将承诺在“我们理解和监控 AI 行为的能力达到某个具体里程碑”之前,不越过某一特定阈值。
当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Anthony Ha 是 TechCrunch 的周末编辑。此前,他曾在 Adweek 担任科技记者,在 VentureBeat 担任高级编辑,在 Hollister Free Lance 担任地方政府记者,并在一家风投公司担任内容副总裁。他住在纽约市。
您可以通过发送邮件至 [email protected] 联系 Anthony 或核实其外联信息。
来源:TechCrunch · AI · techcrunch.com