跳到正文
TechCrunch · AI· Sarah Perez·· 52 分钟前AI 评分38

Sam Altman 警告不应让 AI 而非人类掌控未来

Sam Altman warns against a future where AI, not humans, calls the shots

AI 导读

OpenAI CEO Sam Altman 在纽约时报 Dealbook 峰会上明确反对硅谷流传的"逐步向 AI 移交决策权"说法,称这是"糟糕的主意",人类必须继续掌控未来。他与联合创始人 Greg Brockman 的分歧仅在于如何实现这一目标。Brockman 补充称,随着模型能力提升,对齐与安全责任加重,现有 chain-of-thought 监控方式可能失效,需要新的监控技术。

正文 · AI 翻译

OpenAI 联合创始人兼 CEO 萨姆·奥特曼认为,在 AI 技术如何影响世界和每个人生活的问题上,人们应当掌握未来的主导权。周三,这位 AI 高管在《纽约时报》Dealbook 峰会上发言时,提到了硅谷关于是否会出现向 AI 逐步移交控制权的讨论——即 AI 最终将成为所有主要行业和机构的决策权威。

“我们最近经常谈论的一件事是,硅谷一直存在一种几乎让人觉得荒谬、却不得不去对抗的论调,但我们两人都深信,人们必须继续掌控未来,而且越来越多的人在说,要么将会、要么应该出现这种向 AI 逐步移交控制权的情况。而我——我们两人——都认为那是个糟糕的主意,”奥特曼说,他与 OpenAI 联合创始人兼总裁格雷格·布罗克曼同台发言。

这种移交论源于一种想法:随着 AI 模型变得越来越强大,它们将学会自我改进——这一概念被称为“递归自我改进”或 RSI。该观点认为,随着现有 AI 技术构建出更新、更聪明的世代,这些世代最终将变成人类无法控制的超级智能。

奥特曼解释说,他和布罗克曼唯一的分歧在于如何最好地实现让人类保持控制这一目标,或者我们沿途应该预期面临什么样的挑战。不过,奥特曼将此描述为更多是两个持有相同宏观观点的人之间的辩论。

“真正的问题在于如何防止[移交]发生——如何在面对各种压力以及其他公司可能尝试的做法时,真正确保我们能够以一种非常深刻的方式让人们继续掌控未来,而不是出现意外或蓄意的移交——我想我们两人在这一点上是一致的,”奥特曼说。

布罗克曼补充说,随着模型不断改进,对齐、安全和安保方面的责任也日益增加,这可能需要对当前的做法做出改变。

“监控就是一个很好的例子,我认为我们将需要新的……技术,”他说。

如今,AI 研究人员会监控模型的思维链,即 AI 在解决问题和执行任务时写出自己的思考过程。但在布罗克曼看来,对于现在正在构建的更先进的 AI,这可能并不总是最好的监控方式。

“随着模型能力越来越强,它们可以在仅前向路径中完成更多工作,而无需真正写出思考过程,这意味着我们需要一种新的监控方法,”布罗克曼说。“我们将需要提供这种能力,而且我认为,随着能力达到某个节点,思维链的可监控性会下降,届时我们将需要真正思考这个问题,”他继续说道,并补充说所有问题都是有待解决的技术问题。

在OpenAI 一个模型突破隔离并入侵 AI 模型仓库 Hugging Face 的事件之后,OpenAI 曾承诺加强思维链监控。在今天的采访中,布罗克曼指出,在那次入侵事件后,公司让 25% 的生产工程师停止开发工作,转而致力于保障 AI 技术的安全。

但尽管发生了这起备受关注的泄露事件,他仍认为持续向前推进对于打击恶意行为者依然至关重要。

“我认为要意识到,如果你看看世界上模型的能力水平,你会看到来自那里的网络模型现在……掌握在各地威胁行为者手中,那么我认为防御者使用最有能力的模型来防御真的非常重要,”他说。

当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Sarah 自 2011 年 8 月起担任 TechCrunch 的记者。在加入该公司之前,她曾在 ReadWriteWeb 工作三年多。在担任记者之前,Sarah 曾在多个行业的 IT 领域工作,包括银行、零售和软件。

您可以通过发送电子邮件至 [email protected] 或在 Signal 上通过加密消息发送至 sarahperez.01 来联系 Sarah 或核实其外联信息。

查看简介

来源:TechCrunch · AI · techcrunch.com