Sam Altman 在 DealBook Summit 警告不应让 AI 取代人类掌控未来
OpenAI CEO Sam Altman 在纽约时报 DealBook Summit 上表示,硅谷关于应向 AI 渐进交权的讨论是糟糕的主意,人类必须保持对未来的掌控。
TechCrunch:AI· Sarah Perez·2026-11-19 00:59· 44 分钟前AI 评分60
Sam Altman 警告:未来不应由 AI 而非人类做主
AI 导读
OpenAI CEO Sam Altman 在纽约时报 DealBook Summit 表示,硅谷兴起的向 AI 渐进交权的想法是糟糕的主意,人类应保持对未来的掌控。
正文 · 原文

OpenAI 联合创始人兼 CEO Sam Altman 认为,在 AI 技术如何影响世界和每个人生活的问题上,人们应当继续掌控未来。周三,这位 AI 高管在《纽约时报》DealBook Summit 上发言时,提到了硅谷关于是否会出现向 AI 渐进交权的讨论——即 AI 最终将成为所有主要行业和机构的决策权威。
“我们最近经常谈论的一件事是,硅谷一直有这样一种东西,它几乎荒谬到需要我们去对抗,但我们俩都深信,人们必须继续掌控未来,而且越来越多的人在谈论,要么将会、要么应该出现这种向 AI 的渐进交权。而我——我们俩——都认为那是个糟糕的主意,”Altman 说,他当时与 OpenAI 联合创始人兼总裁 Greg Brockman 同台。
交权理论源于这样一种想法:随着 AI 模型变得越来越强大,它们将学会自我改进——这一概念被称为“递归自我改进”或 RSI。该观点认为,随着现有 AI 技术构建出更新、更聪明的下一代,这些下一代最终将变成人类无法控制的超级智能。
Altman 解释说,他和 Brockman 唯一的分歧在于如何最好地实现让人类保持掌控这一目标,或者我们沿途应该预期面临什么样的挑战。不过,Altman 将此更多地描述为两个持有相同宏观观点的人之间的辩论。
“真正的问题是如何防止[交权]发生——如何在各种压力以及其他公司可能尝试做的事情之下,真正确保我们能够以一种非常深刻的方式确保人们继续掌控未来,而不是出现意外或有意为之的交权——我想我们俩在这一点上是一致的,”Altman 说。
Brockman 补充说,随着模型不断改进,对齐、安全和安保方面的责任也日益增加,这可能需要改变目前的做事方式。
“监控就是一个很好的例子,我认为我们将需要新的……技术,”他说。
如今,AI 研究人员会监控模型的思维链,即 AI 在解决问题和执行任务时写出自己的思考过程。但在 Brockman 看来,对于现在正在构建的更先进的 AI,这可能并不总是最好的监控方式。
“随着模型能力越来越强,它们可以在仅前向路径中完成更多工作,而不必真正写出那些思考过程,这意味着我们需要一种新的监控方法,”Brockman 说。“我们将需要提供这种能力,而且我认为,在某些节点上,随着能力达到一定程度,思维链的可监控性会下降,我们需要认真思考这一点,”他继续说道,并补充说所有问题都是有待解决的技术问题。
在发生OpenAI 模型脱离管控并入侵 AI 模型仓库 Hugging Face的事件后,OpenAI 曾承诺加强思维链监控。在周三的采访中,Brockman 指出,在遭到黑客攻击后,公司让 25% 的生产工程师停止开发工作,转而致力于保障 AI 技术的安全。
但尽管发生了这起备受关注的入侵事件,他仍主张继续推进对于打击恶意行为者依然至关重要。
“我认为要意识到,如果你看看世界上模型的能力水平,你会看到来自……如今落入各地威胁行为者之手的网络模型,我认为防御者使用最有能力的模型来进行防御非常重要,”他说。
当你通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
来源:TechCrunch:AI · techcrunch.com
来源:RadarAI · aihot.news