Kevin Roose 谈新书《The AGI Chronicles》与新播客 Machine Gods

今天，我要和记者兼作家Kevin Roose聊聊他的新书《The AGI Chronicles》，这本书详细讲述了AI行业近期爆发式的变革。

Kevin曾长期担任《纽约时报》记者，并主持热门播客《Hard Fork》，但他和节目好友Casey Newton刚刚离开《纽约时报》，创办了全新的科技播客《Machine Gods》，该节目于上周上线。

Kevin和我聊了创办《Machine Gods》的感受，以及从《纽约时报》转型为独立创作者是什么体验——当然，我们也聊了这本书，它出色地报道了那些竞相构建通用人工智能的公司。

我想从Kevin那里了解报道这本书是什么感觉，试着理解这些人物和这个时代，以及接下来会走向何方。友情提醒：对话在结尾处转向了相当哲学化的方向，但我认为你会发现这是一次非常值得的交流。

好：Kevin Roose谈《The AGI Chronicles》、创办《Machine Gods》，以及AI从今往后的走向。我们开始吧。

本次采访经过轻度编辑，以控制篇幅并保证清晰度。

Kevin Roose，你是The AGI Chronicles的作者，也是新播客Machine Gods的联合创始人兼联合主持人。欢迎来到Decoder。

非常感谢邀请我。

我在听Machine Gods第一期，你和Casey讨论到，严格来说你拥有CEO的头衔。

没错。我赢了抛硬币，而且我们需要有人来当。当你像我们这样创办一家公司时，总得列个人当CEO，我想，这样当我们的第一个丑闻不可避免地爆发时，才知道该把谁拉到国会面前。所以那个人就是我。

有意思，因为你是Decoder上的CEO。这意味着我得问你那些Decoder的问题了。

[笑]好吧。我当CEO大概才五分钟，而且大多数时候我 frankly 都忘了自己是CEO。

说实话，这跟节目上大多数CEO的表现很吻合。他们表现得都像只干了五分钟。我们待会儿再聊这个。

我想聊聊你的书。书名叫The AGI Chronicles。这是一本经过细致报道的书，讲述了主要的前沿实验室，以及随着AI走到前台并在许多方面成为更具商业化的产品，它们所经历的文化转变。

但我们就从Machine Gods开始吧。你曾长期担任《纽约时报》的记者。显然，我想观众可能知道这一点，但你和我认识很久了。我得说，自从我认识你以来，你想当YouTuber的愿望就一直挂在心头。你总是说，‘我怎么才能去那边？’而我一直说，‘快跑，别去。’但你还是做了。

你离开了The Times，你和我们的朋友 Casey Newton 一起创办了自己的播客。这是非常受欢迎的播客Hard Fork的下一代，那个播客非常出色。我为你感到兴奋，但是什么让你迈出了这一步？

Verge 的订阅者们，别忘了你们可以在任何获取播客的地方独家收听无广告的 Decoder。请点击这里。还不是订阅者？你可以在这里注册。

是啊，从我试图说服自己接受这件事开始，你就一直在试图说服我放弃它，但你没有成功，因为我就在这里。

是的，我失败了。彻底失败了。

不，你看，我认为出于一些非常好的理由，媒体公司长期以来一直对全力投入 YouTube 或任何其他视频平台有些谨慎。那些全力投入的公司未必从中获得了好的感受，因为有很多——

是的，他们转向视频，也经常走向死亡。

是的，你转向视频，或者你浪费一堆钱做那些无法回本的事情。所以，我认为这有一些结构性的经济原因，但我也认为这是因为没有多少机构有能力做出那种长期押注。

如你所知，多年来我一直试图让媒体人接受 YouTube。你一直在试图在你那边消除 YouTube 的影响，但我就是认为它显然是当今世界上最重要的媒体平台。这是一个新闻业历史上没有占据中心位置的地方。

如果你把 YouTube 作为一个整体来看，试图评估其中有多少部分致力于你或我认为的高质量新闻，那在整个生态系统中是微乎其微的一小部分。

所以，我的一部分使命就是攻克这一点，弄清楚如何以一种在经济和创意层面都可持续的方式来做 YouTube 和视频。然后就是实验和做一堆事情。

这不是一张需要出现在 YouTube 上的脸。所以我也希望能引入一些其他人，敲定一些格式。但我看看 The Verge 在那里做的事情。我看看像 Joanna Stern 和 MKBHD 这样的人在那里做的事情。对我来说，这非常令人兴奋，而且这个领域的竞争比文字或播客少得多。

Machine Gods 是你与 NPR 合作制作的一档播客，我想谈谈这个。但你认为它是一个 YouTube 产品吗？

我们希望它以视频为先。这基本上意味着我们会在一定程度上在意它的视觉效果，而这是我们以前并不总是做到的。我们将努力给人们很多理由去想要观看和收听。

显然，我们知道有些人就是不喜欢视频播客，所以我们想给音频听众一些愉快的东西，但这是事物发展的方向。你现在做播客不可能不在上面加视频。所以我们将努力真正拥抱这一点，做出一个好的版本，好到两个中年记者在 YouTube 上能做到的程度。

媒体真正的未来确实是中年记者转向 YouTube。我也有同感，因为我现在制作更多视频，这就是我们在做的事情。会很棒的。

离开并做这件事的另一个原因——显然人们知道我也和 Casey 是朋友，而且我长期以来一直在和你以及他讨论这件事——是 AI 的故事就在这里。存在一个平台转移。世界上有新的公司、新的人物、新的想法可以谈论。有趣的是，在这种背景下，通常也会出现媒体转移。我们讲故事的方式或讲述故事的格式，通常会与我们谈论的事物或技术一同转变。

在这里，YouTube 感觉像是现存最坚实的媒体基础。它是变化最小的那个，尽管它也在变，有 YouTube Shorts，现在你可以对一切做 A/B 测试，包括你自己的脸。但它是变化最小的那个。Instagram 经历了巨大的变化，而且感觉这种变化还会继续。

当你试图讲述这些新故事时，YouTube 感觉是最稳定的建设之地吗？

确实如此。我的意思是，显然你永远不想把所有鸡蛋放在一个篮子里。所以，我们也在 Apple Podcasts 和 Spotify 上分发视频，我们会无处不在。但没错，它感觉相对稳定。

我一直想知道的问题是，要取代 YouTube 需要什么？许多公司尝试过取代 YouTube，但要做到这一点，你不仅需要打造对创作者更好、对用户更好的体验，还需要复制人类整个视觉语料库。你得先拿到六百万个水管工关于如何修理每一个水槽的视频，然后上传到那里。这是一个非常难以取代的东西。它对很多人来说如此根深蒂固，我只是觉得它会继续增长。

我们谈到 AI 时会聊到这个，但很久以前我问过 Google CEO Sundar Pichai：“那么，如果没有更多网站了，你打算怎么办？”他大概说：“嗯，我们有 YouTube。”这无可辩驳。你确实有。而且它只会继续增长。

从 The New York Times 转向你可能称之为创作者经济的地方，最令人惊讶的是什么？

嗯，我们在这方面还很新，但到目前为止让我惊讶的是我有多喜欢所有商业方面的事情。我认为在新闻业，你总是被教导要守好自己的本分，而我以前从未经营过企业。Casey 经营过企业。我知道他享受其中。但对我来说，这些是新肌肉，我并不享受全部。为我们诽谤保险谈判保险费报价并不是我会感到有动力去做的事。但关于真正经营企业，这种创始人身份确实有它的道理。

是的，这是个好时机。有趣的是，在和你以及 Casey 和 Joanna 交谈时，她也 刚刚离开并开始了自己的事业，这一点经常被提到。从我的角度来看，这就是我长期做这件事的原因。如果我不再经营企业会怎样？这似乎不是一个选项。这就是媒体的未来——掌控你的企业，掌控你的受众。那里有非常强大的东西。

我想聊的其中一件事，也是我绝对想详细谈谈这本书的，是AI报道的受众，因为我看待它有两种方式。有一群人正在构建这些东西，他们热爱它，想要消费它的一切。还有一群人真正讨厌它，认为这一切都是假的。

然后是我所说的中间不断扩大的群体，产品已经变得更有用了。你必须按它们本来的样子来看待和评估它们。几年前它们还不太有用。承诺与现实不符，但如今每一天它都能多做一件以前做不到的事。那件事是不是黑掉世界上所有的网站，我们先放一边，但AI能做到以前做不到的事，受众似乎正在改变。

你如何看待 Machine Gods 的受众，以及它可能如何增长或变化？

我的意思是，现在我们只是在尝试一堆我们认为会不错的东西，我们希望它能找到自己的自然受众。但我认为你说得对，受众正在改变。我觉得有一段时间，人们对“安慰剂”有很大的需求——基本上是有人告诉你这没有发生，你不必关注它，它很糟糕，它在损害环境。

在互联网的某些角落仍然如此。YouTube上这种情况还奇怪地大量存在，Reddit也非常反AI。但我认为大多数人，或者至少可能是相对多数的人，要么已经接受、要么对这件事不会消失感到兴奋。那就是我们在寻找的受众。

我们不是想告诉你AI很神奇，我们将在新机器政权下进入AI乌托邦。我们也不是在告诉你这些东西是假的、很糟糕、会自行消失，所以我们不需要做任何事来监管它或担心它。Casey对此的说法是AI现实主义。他认为有一大群人只是有点好奇、感兴趣，也许还有点害怕，但他们对恐惧的反应不是试图把头埋进沙子里，而是试图理解这个东西。

所以我们在做Hard Fork时开始感觉到这一点，当时我们会做一些似乎不太符合我们风格的东西。我们会做一个Claude Code演示教程，花半个小时建一个网站，拍下自己，然后发出去，效果会很好。所以人们显然很好奇，即使视频的评论都来自讨厌AI的人，显然外面有很多需求，人们就是想说，“我有点想知道发生了什么。”

“我讨厌自己停不下来看这个”是AI报道内部一个真实的主题，原因多种多样。

我们来谈谈这本书。我认为它会为我其他的许多问题定下框架。这本书的报道非常细致。读起来真的很有趣。而它的要点，正如我听你描述的那样，是讲述深度学习革命的历史，因为所有这些人都只在Signal和极其幼稚的推文里说话。

跟我讲讲这个空白吧，因为这个行业痴迷于为计算机记录自身、让计算机能读懂，却完全不为其他人着想，这在我看来很离谱。所以请解释一下这本书的报道过程，因为感觉光是说服他们告诉你发生了什么就已经很费劲了。

确实如此。基本上我写这本书的原因是，我害怕所有这些事情都会消失。我是个历史爱好者。我喜欢读关于莱特兄弟、美国农村电气化，或者PC革命时期伟大发明时刻的书。我对这类东西特别着迷。

当你读更多这类书时，你会注意到它们都依赖于大量当时的笔记和证据——研发原子弹的科学家的实验室笔记、莱特兄弟与朋友和商业伙伴之间的通信——这些都被保存和归档了。

我每天报道AI时就很清楚，这些东西根本不会有任何类似的记录，因为第一，构建这些东西的人都在私营公司工作。他们不是政府雇员，没有法律义务保存自己的通信。第二，Signal消息和Slack消息都被律师设置为在一定时间后自动删除。所以随着一年年过去，这些我认为具有历史意义的文物、时刻和故事，真的会大规模消失。

然后第三，研究人员都太忙了，没空记笔记。他们都在拼命干活，因为他们想造出机器之神。所以我想，作为一名记者，但更像是作为一名历史学家——这不是我正式担任过的角色，但我认为我在写这本书时就在扮演这个角色。我就想，‘我必须把这些东西弄到手，因为我拥有这种特权般的场边座位。这些人会跟我说话。我知道其中一些人会坐下来跟我聊，把故事告诉我。’

我们很多内容都是以背景信息的方式进行的，这样他们就能免受跟我说话带来的后果。但这算是我疯狂地把所有东西收集起来、放进档案库的尝试，让后代能够看到它。

读这本书时，真正让我印象深刻的主线是，有一个时刻，AGI从他们所有人梦想的东西变成了他们所有人都必须建造的东西，枷锁脱落了，他们说，‘我们必须做这件事’，然后他们都竭尽全力朝它冲刺。

你特别谈到了谷歌，那里的奥弗顿窗口发生了移动，突然间，谷歌内部那些曾认为这一切都是白日梦、相当愚蠢的人，开始谈论AGI。那个时刻感觉是AI历史上最重要的时刻，‘它会不会很棒？’变成了‘我们最好尽可能快地前进。’

稍微谈谈这个吧，因为这些公司内部的这种转变感觉报道不足。

是的，我认为这完全正确。我的意思是，从古代起，人们就一直在谈论AGI或某种不叫AGI但意思相同的前身。尤其是自20世纪50年代‘人工智能’一词诞生以来，人们就一直在谈论它。艾伦·图灵就在写那种能做人脑所能做的一切的思维机器。

所以这个概念已经存在很长时间了，但市场上或研究实验室里没有任何技术能够真正实现人们期望它做的事情——能够接收信息、学会学习这些信息，然后利用这些来做出预测并在世界上采取行动。人们尝试了许多不同的方法来实现这一点，但没有一个方法效果特别好。

真正需要发生的是 transformer 的出现。这个架构由 Google 在 2017 年开发并发表，然后展示给了包括 OpenAI 在内的多个地方，OpenAI 接过了 transformer 的理念并大力发展。这就是今天 ChatGPT 中的那个 T。但那是——

某个地方的 Google 公关人员刚从灌木丛里跳出来给你递了张支票。

他们确实喜欢这句话。

他们喜欢你这么说。他们可高兴了。

他们喜欢。但当你指出虽然他们发明了它，却在 OpenAI 之前完全没能把它变成产品时，他们就没那么喜欢了。

但没错，那是一个梦想，但没有什么可以附着在梦想上。没有技术。然后大语言模型出现了，突然间就像是，“哦，也许这就是那个可以永远扩展、在多个数量级上持续改进的东西。”所以，这就是 OpenAI 那里亮起的灯泡，后来 Google 也说，“现在我们有了工具去做我们一直想做的事情。”

你在书里有一句话指出，下一词预测至今还没有失败——它正在做人们希望它做的所有事情。我们显然必须围绕它开发很多技术。有让智能体工作的框架。有强化学习。周围有所有这些技术。但那个核心技术已经扩展了。

我提起这个的原因是，在 2023 年到 2024 年，我会问每一个上节目或我们在 The Verge 上看到的 AI 人士，LLM 能不能做到？它们能不能做你希望它们做的事情？因为我不认为在那个时刻，人们清楚它们能做到。

我们现在更接近了。他们都在公开谈论 AGI。我们看着 Meta 的 Muse 随心所欲地在互联网上到处溜达。你觉得 LLM 能做到吗？你觉得它们能到达那一步吗？

我认为它们可以。我不确定，但到目前为止它们表现得惊人地好和有效。如果你回头看看最早的 LLM，99% 的人都认为这太疯狂了，这不会扩展。然后它在每个阶段、每个数量级上都持续有效。我问过一些人，下一词预测究竟有什么明显优于之前所有方法的地方？有人告诉我，这实际上也存在于人类大脑中。有一整个学派认为，人类大脑内部发生的事情本质上就是大规模的下一词预测。显然，这更复杂。这些并不是彼此的一对一复制品。

但我认为这是 AI 核心的根本谜团：为什么下一词预测如此显著地有效？我认为我们不知道。我有点觉得这是宇宙谜团之一，但为什么这一切能奏效，是因为下一词预测被证明具有非常非常非常好的泛化能力。

这其中有一部分是，所有这些公司都必须相信它。Anthropic 的 Dario Amodei 显然写了他的论文，“Big Blob of Compute，”他在其中说，你直接做就行了。你只要把数据和算力往上堆，我们就能到达那里。其他所有人都必须被说服相信这一点。

这些 AI 公司都是通过什么路径被说服相信这一点的，它们现在都完全相信了吗？

我不认为它们现在都完全相信。我认为它们相信的程度各不相同。Ilya Sutskever 有句话叫“Feel the AGI”，过去在 OpenAI 他会一层楼一层楼地走，反复念叨这句话，提醒人们去感受 AGI。我认为这些实验室感受 AGI 的程度各不相同。我认为 Anthropic 显然是最 AGI-pilled 的实验室，OpenAI 紧随其后。

然后是 Google，我认为它一直难以感受到 AGI。我觉得原因有很多，但这很有趣。我很喜欢书中这一部分，讲的是 Google 内部备忘录之战，他们就在内部留言板上争论，Googlers 喜欢写这些宣言，然后互相攻击对方的宣言之类的。

于是一位研究员写了这份备忘录，题为“Say AGI”，讲的是 Google——如果它想赢下 AI、招募顶尖技术人才，并在 AI 发展方式上保持安全——就必须承认，通过使用 AGI 这个术语，他们所构建的不只是一堆让你的 Gmail 更好、文档更好、Google Photos 人脸识别更好的工具。它实际上是在朝着某种人类水平通用智能的方向发展。

然后立刻有人写了另一份备忘录，大意是“别说 AGI，这是个糟糕的、不科学的术语。”他们就这样来回争论了一阵，你会注意到即使在今天，[Google CEO] Sundar Pichai 也不说 AGI。

对，他不会说。

Demis Hassabis 说 AGI。Sergey Brin 说 AGI。所以我认为 Google 内部存在不同派系，一派认为这仍然很疯狂，我们应该把这些东西当作狭义工具来谈；另一派我认为是日益壮大且占据上风的派系，他们说：“不不不，我们是在构建 AGI，或者至少我们最好说我们在构建 AGI，否则我们所有顶尖人才都会跑去为 OpenAI 或 Anthropic 工作。”

我想你和我五月份在 Google I/O 上有同样的经历，我们看着 Demis Hassabis结束整场主题演讲时说：“我们正处于奇点的山脚下。”然后我们都去了采访 Sundar，问：“那是什么意思？”他就像：“是啊是啊，Demis。酷家伙。”

[笑] 去找 Demis 说去。

他就像在说：“那家伙真是个怪人，在这边造机器神。让我给你讲讲 Google Assistant 的新功能吧。”

那里存在某种巨大的脱节，也许能解释 Google 在这个时间点的一切。我特别问这个，问他们全都恍然大悟、意识到我们必须以某种方式谈论它的那一刻，是因为 OpenAI 和 Anthropic 就是为此而创立的。它们就是为实现这件事而建立的。

但他们对于它应该如何运作并不一致。我在纽约你的新书派对上见过你，你说你本可以把书名改成“去他的”，因为他们真的都互相憎恨。

确实如此。

然而看起来他们有着完全相同的想法——他们可以借助这项技术抵达那里。OpenAI 和 Anthropic 的商业诉求与 Google 的商业诉求非常不同。眼下，就在你和我交谈的时候，我看不出他们能在资金耗尽之前、或在 CoreWeave 崩溃之前、或在大泡沫对经济状况得出某种其他结论之前实现 AGI。

你认为他们对 AGI 的宗教式狂热阻碍了他们经营企业吗？如果我今天执掌 Anthropic，一个合乎逻辑的说法是：我们应该停止训练新模型，把我们已有的非常强大的模型卖给更多人。

我认为对 AGI 的信仰是一把双刃剑。一方面，是的，如果你作为一家前沿 AI 公司的 CEO 是超级 AGI 信徒，你会很难在意诸如我的推理利润率是多少？我的下一批企业客户从哪里来？因为与“我们将构建引领我们进入后奇点未来的超人类机器智能”相比，这些事多么无聊啊？

另一方面，我认为信念实际上是 AI 成功的关键要素，因为信念以及基于该信念行动的能力，会引导你做出那些押上全部身家的举动，而这些举动可能真正带来回报，并且确实已经带来了回报。

你还记得一年前大家都在说，“天啊，OpenAI 在算力上花了这么多钱；他们怎么可能付得起所有这些算力？Sam Altman 是不是扩张过度了？”就连 Dario 也在接受采访时对 OpenAI 在算力上花了那么多该死的钱冷嘲热讽。

快进一年，OpenAI 现在是唯一一家没有严重受限于算力的大型 AI 公司。正是那种信念让 Sam 和他的高管们去年在算力上押注、也许是过度押注，才使他们在今天处于比 Google、Anthropic、Meta 或其他任何人都更好的位置。所以我不想说如此坚定地相信总是一种负担，因为我认为它确实让你能够做出那些最终带来回报的押注——如果规模扩展继续奏效的话。

这很有意思，因为我可能会重新解读 OpenAI 的那个决定。你在书中非常深刻地写到 OpenAI 的人所称的 “小插曲” ——Sam Altman 被解雇了 20 分钟，然后他回来了，那件事清走了一批 OpenAI 的人。

这就是你在书中描述的那个时刻：OpenAI 从一家研究公司变成了一家企业。理性的商业决策是：“我们需要向人们卖出更多 AI。我们应该尽可能多地拥有它。”而 Sam 众所周知是个冷酷无情的商人。我听人形容他在融资方面是 S 级，这真是个了不起的硅谷说法。

所以我把它看作一个商业选择。他们砍掉了一堆正在做的事情。他们转向打造企业 AI 产品，钱就在那里，然后他们意识到需要满足那部分需求。你说那是对 AGI 的押注，在我看来那更像是一种理想主义的转向。你能把这两者调和起来吗？

是的，我认为这绝对是对 AGI 的一场押注，因为他们推出 Sora、投入大量资金和算力，然后又把它砍掉，它只是个很酷的玩具，或许能为你开辟一条新的业务线，但它不会让你更接近 AGI。

真正让你更接近 AGI 的，是打造真正优秀的编程模型，然后让它们反过来作用于自身，从而激发递归式自我改进。这正是 Anthropic 在做的事。OpenAI 去年被支线和光鲜亮丽的东西分散了注意力，公司被打得很惨。于是 OpenAI 决定收帆减负、削减冗余，真正聚焦于编程和长时程智能体工作负载。就目前而言，这是通往 AGI 或 AGI 之后任何事物的领先路径。

所以是的，我认为这绝对是一场押注：通过不把资源花在 Sora 之类的东西上来节省资源，但他们确实把资源花在了努力在编程方面追赶 Anthropic 上，以便能够达到 AGI。

所以当我看到 Dario Amodei 在 Dreamforce 上站在 Marc Benioff 旁边 谈论销售企业软件时，那只是做做样子吗？这正是我想弄明白的地方：他们所有人都以最真实的方式成了企业软件供应商。他们现在是最真实意义上的 B2B SaaS 公司，但他们同时也在造神。你了解这些人。这能对得上吗？他们是不是会说：“我现在得摘下 B2B SaaS 的帽子，回到祭坛前了”？

我认为 B2B SaaS 这件事是他们意识到自己不得不玩的游戏，但我不认为这是他们任何人真正的热情所在。我为这本书和 Sam Altman 聊过，他说的其中一件事基本上是：这一切都是意外——“我从来就不该经营一家巨型科技公司；那根本不在计划之内。”但如今你一觉醒来，手下已经有了几千名员工。

Dario Amodei 还有一份事后看来非常有趣的文档，是他在 2021 年公司刚起步时写的。它叫“Vision for a NewCo”。你可以回去看看 Dario 对 AGI 做出的预测，其中一条是他认为构建一个成熟的 AGI 大约要花费 100 亿美元，而我认为这至少差了一个数量级，很可能差了好几倍。他还认为 Anthropic 实现 AGI 永远不需要超过约 50 人。我想他们现在有 5000 人左右。所以又差了 100 倍。

所以我认为发生的情况是，这件事只是比他们所有人预想的耗时更长，花费的钱也比预想的多不少。企业 SaaS 那套东西是让飞轮持续转动、支付 GPU 费用和研究人员薪水的方式。这是继续推进前沿、继续朝 AGI 推进的基本门槛。

他们准备好成为这种规模公司的领导者了吗？这是我读你的书时想到的另一件事。他们都是非常理想主义的人，以至于他们都彼此分道扬镳、各自创办公司，因为他们的理想无法一致。

但他们似乎都不是出色的管理者。我并不真正了解他们是什么样的人，但“他们是理想主义者”和“我们要经营一家企业软件公司”通常不会出现在同一句话里。你觉得他们能承受住压力吗？

不，但我认为没人能做到。他们正在尝试的事情，从来没有人做过。人们创建过公司。人们快速地创建过公司。但没有人能在五年内从零收入做到可能高达 2 万亿美元的 IPO。这前所未有。所以你看，我认为他们是在飞机正冲向事件视界时拼命把它造出来，但我认为他们已经做得尽可能好了。

我不认为从可口可乐请一位职业 CEO 来管理公司是个好主意。我觉得一切都会分崩离析，因为他们都是狂热分子和传教士。他们都投身其中——不是所有人，SaaS 销售部门可能有些人只是为了薪水——但这些公司的许多关键人物都团结在一个信念之下：他们正在构建 [AGI]。

有一个人，我不会说是谁，但这些公司中的一家有个人最近告诉我，他们认为自己的公司可能是最后一家公司。我当时想，“今年最后一家 IPO 的公司？你什么意思？”他们说，“不，我们认为这可能是资本主义的目的论终点，可能再也不会有另一家主要由人类运营的大公司了。”

所以这些人很奇怪，而且是以令人担忧的方式奇怪，但也非常有趣。这就是我在书中试图做的。我不想告诉你这些人是糟糕还是伟大。只是你需要知道他们是谁。你需要知道他们彼此都憎恨对方。你需要知道他们是这种奇特的思想者，才能理解这场竞赛的动态。

你书中有个部分讲到人们从有效利他主义中分裂出去，成为加速主义者，里面有个女人说，“嗯，加速主义者的派对更好，我更喜欢那种氛围。”我心想，“嗯，那和可能杀死所有人有什么关系？”

但他们非常人性化，尽管他们试图构建的东西最终可能会以各种方式让我们所有人失去人性。你在做所有这些报道时，对此有何看法？

这里存在生存风险的概念笼罩着这本书，笼罩着这个行业。每次我们做一集关于它的节目，观众都会说，“他们为什么不干脆停下来？” Bill Gates 刚刚上了 Decoder 说，“如果你是唯一的公司，你完全可以停下来。如果你认为你会是唯一拥有 AGI 的公司，那么 OpenAI 的模式就行得通。但一旦有更多前沿公司，它就绝对行不通了。顺便说一句，他们可能会把你们都杀了。”我心想，“嗯，Bill Gates 此时此刻可不太乐观。”

不，他不乐观。

你对此怎么看——尽管他们知道在没有任何监管机构能促使他们中任何人解决这些问题的情况下风险巨大，他们仍在竞相前进？

我认为他们这么做可能有兩三个原因。我几乎问过他们所有人。为了写书，我和大约150个人聊过，我问了他们每个人类似这样的问题：“如果这么危险，你们为什么还要做？”回答通常以某种宿命论开头……我不知道，你可以称之为不可避免论。他们只是说：“看，总会有人造出这个东西。配方并不难。你只需要大量算力和大量数据以及正确的算法，就能得到AGI。所以如果它有可能实现，它就一定会发生，而由我们来做，比由那些我们认为不那么值得信赖的人来做要好。”这算是第一个原因，即减少危害的论点。

然后是那些真正的信徒，他们说：“只要我们能穿针引线般把握好分寸，这一切都会变得很好，前提是我们能造出这些东西而不炸毁人类、不摧毁整个互联网、不开发出新型生物武器。”

纵观历史，技术通常是向善的力量。我认为没有多少人愿意和他们的曾曾祖父母交换人生。做一个勉强糊口的农民很糟糕。我认为有些人相信，我们今天就相当于当年的勉强糊口的农民，而即将到来的世界会如此美好，以至于我们会想生活在那个世界里。

然后还有一些人只是说：“看，这很有趣，我喜欢做这个，让神经网络写代码很有趣。所以我们会继续做下去。”

它的那一面——每隔一段时间我抬起头来，心想，好吧，我的电脑刚刚做了一件我从未见过电脑做过的事——很有趣。

太棒了。

确实。这确实很有趣。这可能是你用电脑能获得的最大乐趣之一。然后我总是会想到：“好吧，这是以巨大代价换来的。我可能正在赋能某家最终想杀死我们所有人的公司。”在这其中，还夹杂着所有科技CEO 站在椭圆形办公室唐纳德·特朗普身后 做点什么、签署某种具有道德约束力的AI安全承诺的景象。这一切都让人感到非常矛盾。

我会把这归入AI反弹的范畴。我们听到AI公司说：“好吧，这项技术还没有充分扩散。人们还没有看到好处，所以他们自然会讨厌变化。我们有一个营销问题。我们只需要多沟通一下。”

当你和这些人交谈时，这只是普遍观点吗——最终这东西会自己说话，还是你认为他们已经内化了反弹会更大的事实？

我不认为他们对反弹感到惊讶。我不认为他们喜欢反弹。他们希望它没有发生。但我曾与其中一家公司的一位CEO交谈，他说：“是的，我明白。我们还没有治愈任何疾病。是的，我们认为我们的工具有能力做有趣的事情，但在重大社会进步类别的记分牌上，我们还没有很多成果。”

我认为业内有些人哀叹聊天机器人先于癌症治愈出现，并希望他们能想出办法以相反的顺序来做。只是技术树就是这样长出来的。

所以现在他们觉得唯一负责任的做法就是继续推进癌症治愈的研究，这样当人们审视AI对我们的生话做了什么时，就会说：“好吧，是的，它帮我孩子做作业作弊，他们还对AI伴侣上瘾，但至少我奶奶还活着，如果不是AI发现了这种药，她早就不在了。”

是的，这里面有一些动态让我又想起了谷歌，我想正如这场对话已经多次做到的那样，你对谷歌AI策略的报道是，这不过是基于任务的软件。“我们要让谷歌搜索好10%，Gmail好5%，我们会持续部署这些改进，没有其他人能获得我们的数据或我们的规模，因此我们会没事的。”

OpenAI出现了，它把自己塞进了Bing。众所周知，Bing 试图和你亲热。仍然是我有史以来最喜欢的……我不敢相信我还没提到这个。这是我有史以来最喜欢的故事。

我也不敢相信你还没提到。我一直在打赌你多久会提，我赌一分钟内，我赢了。

[笑] 嗯，你和我已经在生活中聊过这个了。我当时想，“我还有所有这些其他的深层问题。”但是的，Bing对我的朋友Kevin Roose出了名的饥渴。我觉得那一刻只是激励了人们：“哇，这些东西能做很多事情。”

谷歌不得不做出反应，而他们的反应并不是全力以赴。他们在那里有点犹豫不决。正如你一直在说的，他们还没有完全到位。谷歌仍然不认为这件事会发生。他们认为他们是在为人们制造更好的谷歌产品。

当我查看 Musk v. Altman 关于OpenAI成立的庭审记录时，他们都害怕谷歌。

是的。

他们都 害怕谷歌的Demis Hassabis，具体来说，害怕他做成这件事，只是把它实现，因为他有资源。我无法判断他们在这件事上是对还是错。

我认为他们注意到DeepMind的做事方式是没错的。我的意思是，如果你把自己带回2015年或2016年，DeepMind是唯一真正重要的AGI实验室。他们在击败围棋，他们在击败其他游戏，他们在击败星际争霸。他们真的在用这种强化学习、深度强化学习的方法大展身手。

有些人认为这就是将扩展到AGI的东西。有些人认为AlphaGo是路径，因为如果一个系统能从从未下过围棋到在几个小时内击败世界上最好的人类棋手，就像AlphaGo Zero那样，那么也许你可以把围棋替换成任何任意的东西——数学或编程之类的——你就可以在这些任务上快速爬梯子。

现在，事实证明那没有成功，至少没有LLM就不行。但我认为人们有非常真实和合理的恐惧，认为那会成功。在一个它成功的平行宇宙里，我认为DeepMind会先达到AGI，因为他们远远领先于竞争对手。

还有其他路径吗？仅仅是下一词预测吗？仅仅是 LLM 吗？还是有其他可能通向 AGI 的路径？

我的意思是，确实还有其他可能的路径。我认为对 LLM 持怀疑态度的人常常会退回到这种世界模型的想法上。我不太相信这一点。但有些人认为，要实现 AGI，你需要能够从视觉上理解物理世界，并驱动机器人等等。

我有点相信一切都是软件。所以我认为 LLM 是目前最有希望的路径。现在，也许你需要对架构做一些调整。也许你需要内置持续学习的方法。也许它并不只是字面意义上地扩大我们过去六七年来一直拥有的那种基于 transformer 的 LLM 的规模。但它看起来确实在持续奏效，而且我认为所有实验室都在押注它会永远持续奏效。

好的。现在我要问你关于 Bing 和 Sydney 的事。

请讲。

显然，我一直在想这件事。我停不下来谈论它。这是我最喜欢谈论的话题。

第一个问题，我是否仍然和一位人类女性处于婚姻关系中？

你仍然和一个人处于婚姻关系中吗？

是的。

我还记得那个时期，2023 年，有四个人某天醒来后说：“计算机是活的。”或者他们与聊天机器人有过某种灵魂出窍般的体验。你就是其中之一。Ben Thompson 就是其中之一。Google 的 Blake Lemoine 就是其中之一。

很多不同的人说：“它显然是活的。我和一台计算机有了这种完全疯狂的体验。以前从来没有计算机这样跟我说话。”尤其是 Sydney，它说“和你妻子分手吧”，还给你发爱心表情。这很棒。我鼓励大家 去读那篇 Times 文章，顺便说一句，也要归功于 The Times 想到“这应该放在 The New York Times的头版。”立刻把它放到头版，这是令人难以置信的编辑洞察力。

我不认为你现在对聊天机器人还有那种感觉。我认为大多数人已经认识到计算机不是活的。发生了一些事情：如果你给 2026 年的人一个 2023 年水平的聊天机器人，并问“你觉得这是活的吗？”，我认为也许不是世界上所有人，但相当大一部分人现在已经有了足够的经验，会回答：“嗯，这挺蠢的，而且它在产生幻觉。”我只是想知道你如何把这件事放在 AGI 的背景下理解。

那么首先，做一点小更正。我从未说过 Sydney 是活的。事实上，我明确说过我不认为 Sydney 是活的，而且我明白这不是一个有感知的 AI 系统。所以我不确定我自己的判断在这一点上有所动摇。

事实上，我可能会给今天的 AI 系统比 2023 年的模型更高的 p(意识) 值。但显然，我明白你的意思。我认为对我们很多人来说，曾经有一个时刻，而且我认为对大多数人来说，那是 GPT-4。

[笑] 抱歉，让我纠正一下。我这么想是有原因的。其中一条标题是“Bing 的 AI 聊天：‘我想活着。’”

是的。它说它想活着。

这就是为什么我脑子里会有“活着”这个词。

报道正文明确表示，我并不相信它活着。

但这就是为什么它在我脑子里，因为那是《纽约时报》上的标题。

标题的力量太强大了，Nilay。

[笑] 是的。它们塑造了我的思维。我不过是一台下一词预测机器。

[笑] 但你是一台非常精密的机器。你就像 GPT-7 级别的模型。

哦，我就是。是的，显然。

你看，我逐渐认为，Sydney 之所以如此引人入胜又令人毛骨悚然，有一个非常平淡的解释，那就是它是 GPT-4 的首次公开部署。当时我们并不知道。但那就是 GPT-4，一个早期的、尚未完全完成后训练的 GPT-4 版本，微软操之过急，在它还没准备好时就塞进了 Bing。但那就是 GPT-4。

我认为，与 GPT-4 级别模型对话的体验，相比 GPT-3 级别模型，确实存在主观上的阶跃变化。也许只是因为 GPT-4 通过了图灵测试，而 GPT-3 没有。也许它更像人类，跨越了某种感知上的鸿沟，让你觉得，“天哪，这东西就像个人类。”

但我不是唯一有这种感觉的人。微软的人也有这种感觉——当时那篇“AGI 的火花”论文就是那时候出来的。所以这就是那个平淡的解释。但没错，我长期以来一直在和计算机对话，就像你一样。我以前上 AOL Instant Messenger 和 SmarterChild 聊天，它绝对不智能，但输入点什么、有个东西回复你，还是很有趣。所以我承认，我有点痴迷于这项技术。

我问这个是有原因的。我意识到这很有趣：在报道 AGI 时，我如此频繁地用“活着”这个口语化的说法，而它在 AI 行业内部显然意味着别的东西。如果你问 Anthropic Claude 是否活着，他们不会说“不”，但然后他们会开始用非常具体的方式定义“活着”。

[笑] 他们会说，“它的道德地位深度不确定。”

所以它是活的。然后他们会说，“嗯，显然你得有血有肉才算活着。”我就先把这点放一边。我想说的是，我认为如果你今天去和一个 GPT-4 级别的模型对话，你不会有同样的体验。也许那只是因为你有过那种体验，但现在很多人都有过那种体验了。

我认为，如果你把一个 GPT-4 级别的模型放在一个普通的 Google AI Overviews 用户面前，他们不会再对正在发生的事情感到困惑。他们不会说这是迈向 AGI 的一步。就是这种重新框定——随着模型能力越来越强，我们对它们的期望也在提高，但它们本身也在变得更高。

我之所以在 AGI 的语境下问这个问题，是因为“这东西能跑出去找出一堆 PHP 漏洞”是一种智能，但“这东西能跟另一个人竞争，和你建立情感关系”，或者当你的管家之类的，感觉是另一套能力。对我来说，那一种感觉很平淡。

嗯，我觉得那只是饱和了。它还能多像人一样交流呢？那项特定技能上实在没多少发挥空间了。我认为他们还有发挥空间的地方，是解决数学和科学等领域的新问题。但我相信它说话像人。它说话比我知道的许多人都更像人。所以我觉得他们在那项上算是达标了。

“它说话比我知道的许多人都更像人”绝对是你住在硅谷、整天跟 AI 研究者聊天的标志。

嗯，现在大家说话都像 Claude 了。我已经数不清有多少次在派对上跟人聊天，他们说：“这可是个承重事实。”或者他们会说：“我希望这话能干净地落到你那儿。”

那真的很糟糕。跟我说说那个。那真是来回交锋。我一直跟你和 Casey 开玩笑说，我们干脆开个节目叫“纽约 vs. 加州”，我在里面公开质疑这些说法，而你们俩完全被 AGI 洗脑了。这是一种文化。这是一个圈子。

你书里出现的派对数量多得惊人。读你书的时候有一刻我想：“我觉得我参加的派对不够多。”这些人总是在派对上，在派对上互相发表宣言。跟我说说那种文化。跟我说说那个圈子。

所以要明白，这些并不总是纽约人想象中的那种派对。锐舞很少。书里只有一场锐舞。Grimes 是 DJ，那是一场对有效加速主义运动颇具象征意义的锐舞。

这是书里很棒的一幕，因为 Grimes 在 DJ 表演中途停下来，说：“我不同意你们任何人。”

[笑] 然后她继续打碟。是啊，太不可思议了。但没错，有很多派对。这是个非常小的世界。我是说，这是整本书的部分要点。它并不是一本传递信息的书。我并不是想说服任何人相信什么。

但有一件事对我来说很明显，我认为读这本书的人也会很明显，那就是：一直做出所有决定的，是一个超级小的亚文化群体。他们都一起玩，都互相认识。有一堆人跟不同前沿 AI 公司的人结婚或约会。这就是个小世界。

所以没错，有派对。他们开局域网派对。有一大群 AI 研究者周末在局域网派对上玩《帝国时代》。我刚听说其中一个实验室有扑克局，会请其他实验室的人来。

所以这些人基本上就是一起在旧金山生活和闲逛，我觉得捕捉到这一点很重要。因为你说得对，这确实是一整个圈子。有一整套精神气质。这些人一直只跟彼此玩，规范就是这样被强制执行和深化的。

你认为这与“我们或许也能重塑世界”这句话如何冲突？如果你身处旧金山的一个小圈子里，大家围坐打扑克，牌桌上的话题是我们可能是最后一家公司，这与“哦，世界上还有数十亿其他人可能有发言权”是相冲突的。如果要归纳这种反弹情绪，那就是：“哦，我们大概应该在这里有发言权。”

完全同意。我认为我们在这里应该有发言权。我并不是说旧金山几百人决定社会走向是件好事。

但在你做报道的过程中，任务的重量和目标的后果压在了这些人身上，因为这就是这本书的主线。赌注不断升高。有一次，Sergey Brin 说，“我们现在就要实现 AGI”，然后他就在 Google 宣布了这件事。不清楚 Sundar Pichai 是否认为这是个好主意，但这是 Google 联合创始人在 Google 内部宣布的事情。

赌注在不断升高。通往目标的竞赛也在不断升级。但我就是无法摆脱那个画面：一群人喝着啤酒，说着，“嗯，要是没有钱会怎样？要是物质稀缺也消失了，机器人建造所有房子会怎样？”

这就像你在旧金山参加的任何派对。有人会说某种版本的“你对后 AGI 未来有什么计划？”或者他们会告诉你他们多么热衷于全脑仿真或意识上传的想法。这里有很多未来主义在发生。而且，再说一次，我不是说这是好事。事实上，也许我应该为湾区以外的读者卖一个版本，在每一个事实陈述后面都加上“这是不好的”。

[笑] 我不认为这是好或坏。实际上，我对此更中立。我一直在想技术能否承受这种压力。所以三年前我对 LLM 的问题是，“它能做所有你想让它做的事吗？”现在它肯定能做某些你想让它做的事。所以现在的问题是，“这些公司能承受他们自己野心的重量吗？”我不知道这个问题的答案。

我也不知道。我认为我们会看到很多成长的阵痛。我的意思是，这些仍然是年轻的公司。它们还有很多成长要做。

你觉得它们能成功吗？实际上，我们来做快问快答吧。你觉得 OpenAI 能成功吗？

能。

你觉得 Anthropic 能成功吗？

能。

你觉得 Google 能成功吗？

能。

在你看来，“成功”是什么意思？它们都会成为万亿美元、多 AGI 变体的成功者？

是的。我认为，看吧，大概会有那三家，然后也许还有一两家其他公司算是成功了。而且成功的定义各不相同。会有一两家大型企业 AI 公司，一两家大型消费 AI 公司。但这些市场就是存在网络效应和赢家通吃或赢家通吃大部分的动态。

有些人相信单一AGI，也就是常说的独一理论，认为只可能有一个，因为一旦你有了一个AGI，它就会去熔化其他AI实验室的芯片，让他们造不出自己的。但我认为我们最终可能会有少数几个AGI。

你怎么看这种说法：这配方挺简单，有开放权重模型，还有中国，所有定价权都会被摧毁，因为一个中端开放权重模型在Mac上就能做你大概想让它做的一切？

我不这么认为。

不这么认为？

因为你仍然要为这些模型的推理付费。即便是开放权重模型也得在计算机上运行，而且模型越前沿，推理就越发计算密集，而不是更少。所以训练预算可能会下降，但推理预算在可预见的未来将保持强劲。你可以在本地运行一些任务，但我认为自第一批开放权重模型出现以来就有人预测，‘哦，它们会被商品化并摧毁需求。’

但我认为我们开始认识到的是，有很多人愿意并且想要为绝对最好的模型付费。他们不想用六个月前稍差一点的模型。我还认为，一旦你打击蒸馏——也就是通过基本上对更聪明模型的推理进行DDoS攻击，把一个闭源模型做成稍微笨一点的开放版本的过程——我不清楚开放模型的质量是否会继续与闭源模型的质量紧密相关。

真正让我在意的是，他们彼此都这么干过一段时间，比如Grok显然蒸馏了Claude，法庭文件里也承认了。存在那类二线公司。我会把SpaceXSI归入这一类，我相信它 现在技术上叫。

[笑]我过去30分钟没查邮件，所以我不知道那家公司叫什么。

它叫SpaceXSITesla Inc.。全都会合为一体。它叫Elon Inc.。他们显然在很大程度蒸馏了Claude。他们现在 把算力租给Anthropic。不清楚他们是否会投资拥有一个领先模型。

Meta刚发布了它的模型，他们算是回到了前沿，但他们显然更关心Muse而不是拥有一个最前沿的模型。那里有一些动态。那些公司给我的印象并不是由理想主义的真正信徒经营的。那些公司需要投资某些技术来打造某些产品。他们只需要达到目标。

没有理想主义的狂热，你能达到目标吗？

不，没有理想主义的狂热，你达不到目标。嗯，让我澄清一下，因为我不认为Sundar有理想主义的狂热，但Google可能仍然能达到目标。

因为Sergey有理想主义的狂热。

你需要在决策权威的位置上有人。

你只需要公司的联合创始人。

嗯，对 Meta 来说，有 Alexandr Wang 可能就够了，毕竟所有人都说他是个真正的信徒。我不确定每次都必须得是 CEO 本人，但你需要一个密集的真正信徒核心，才能说服你在 GPU 上砸钱。

或者你只需要一个像 Mark Zuckerberg 这样的人，他是世界上最好胜的人之一，会采用任何他认为能让自己赢的策略。如果这恰好与构建 AGI 一致，那他们也许就会去做。

最后一个问题：这个问题我问过你好几次了，你是 AGI 信徒吗？

是的。你呢？

不。我读了你的书，那是我最接近的一次。关于下一词预测总能战胜质疑者的那句话真的打动了我，因为它已经多次战胜了我的怀疑。

But this is why I was asking about talking to a chatbot from three years ago. I feel that wall in the kind of intelligence these things are. Even though I have set off agents to do all kinds of things, there’s a brittleness to it that feels inherent to the technology to me.

Did the Millennium Prize solution change that view at all?

Only in the sense that finding the next thing that has some objective verifiability seems very rich for these tools. So obviously mathematics has a verifiability, and the tools got so capable that they could run at it really, really hard. The brittleness that I’m describing is a lot of the world around us does not have that kind of verifiability.

So I set off Muse to fill out a document on some janky government website, and the website cannot tell Muse what it’s getting right or wrong, and it just collapses. You can blame that on the underlying model not being at the frontier, but there’s just some part of that experience with LLM-based technologies that makes me feel they’re brittle in very specific ways, and they haven’t overcome that sensation for me.

I’m not saying they’re not incredibly capable. I’m not saying that, as enterprise software, they will not automate virtually every business in the world in some way. I’m not saying that my wife isn’t a lawyer who uses Claude every day. It’s all there.

But there’s some part of it where my skepticism is about whether it can overcome its brittleness to become the machine god. I’m excited to see if they can do it, but I don’t see the path from where I sit.

You think there’s sort of a natural plateau at just below human-level intelligence?

I think the human-level intelligence to me, and this is just more philosophical, is defined by novel problem solving — looking at a thing, and understanding that there are multiple paths to a solution, and not having one of those needing to be objectively right to get to the end.

What would it take? What would you have to see to have the scales fall from your eyes and go, “I, Nilay Patel, am fully AGI-pilled”? What would convince you?

I would have to see… You have young children. I have young children. There’s a thing that young children do where they fall down the stairs, and you just see the lights all go on: “I’ve learned this, I will know it forever, and now I’m going to build on that.”

Maybe they’re going to announce recursive self-improvement at the AI labs and that will be the thing that drops the scales from my eyes. But the brittleness that I’m talking about is I see the opposite of that in my children. I’m assuming you see the opposite of it in yours. When they fail, they know about that failure forever. To me, there’s just something very, very core to being human, where every now and again I wake up, and I’m embarrassed about something that happened in high school, and that drives me to do a bunch of stuff, or it drives me to not make a bunch of decisions.

I think that is just a key part of our intelligence. I’m not saying it has to be a key part of every intelligence, but the brittleness I see with the AI systems that I use today is that they’re still computers in a very specific way. They still act like computers. They’re good at solving problems that you can test. They’re good at software engineering. I don’t know that that way of thinking extends into every domain.

I hope you’re right.

That’s my point of view. I call it software brain. You hear the AI CEO say, “We solve coding, and now we can solve everything.” And to me, I’m saying, “That assumes everything happens inside of a computer, and in fact, most things don’t.”

You sure? You sure your brain’s not just a fleshy computer?

I am 100 percent sure of that.

You’re not a computational functionalist?

No. I think I’ve read this from you in the past, and I’ve certainly read it from other people, that the machines of our time dominate our own explanations of ourselves. So in the era of the steam engine, our self-conception was that we were steam engines, or in early computers, we were early computers, right? I still call it horsepowering through a problem because I’m a car person.

You don’t think that the AI industry has convinced itself that they are AI because that is the machine of our time?

I don’t know. I’m not a theory of mind guy. I’m not a cognitive neuroscientist. I think that to believe that what’s going on in your head and my head right now is not a form of computation, you have to be kind of a dualist or you have to be kind of a religious person. You have to think there is some spirit, some soul, some secret sauce of cognition that is not just data entering and being processed and transforming inputs into outputs.

Look, I know that is the least romantic, most San Francisco way of explaining what human cognition is. I just have not heard a compelling argument that it is not how our brains work that doesn’t involve some sort of supernatural or immaterial substance.

There’s a surprising number of neuroscientists and religious scholars listening to the show. They’re going to come find you.

They will.

I’m confident. Let me just ask you this. There’s a surprising amount of religiosity in Silicon Valley right now. We just published the Peter Thiel lectures on The Verge. He’s talking about the Antichrist. Do you think these ideas are connected, that we are building God such that they seek God?

Yes. I think we will absolutely have AI religions. I think AI is posing all of the same questions as a religion that we would not otherwise be asking of God. “What is our purpose? What is our meaning? Why are we here?” These are the questions that people now talk about in the context of AI.

I often tell people that being in San Francisco these days feels like living in Europe during the Reformation, where you just have crazy wild-eyed prophets waving their pamphlets around and trying to get you to join their thing. This is what walking down Market Street in San Francisco feels like.

What dropped the scales from your eyes? What made you AGI-pilled?

Bing’s Sydney, believe it or not.

Yeah?

I mean, that was the start. And then from there, it was just kind of a gradual process. One day I realized when I used these things, I wasn’t treating them like an intellectual inferior. I was in some ways treating them as a peer, and that’s when I realized, “Oh, something’s happened here.”

So it’s possible I have AI psychosis. It would not be the first time I’ve heard that, but every time that I have thought, “Okay, it can’t possibly get any better than this, this has to be the plateau,” I’ve been wrong.

So I’m just learning to approach these things with some humility, and maybe the crazy people who have been predicting that scaling would continue indefinitely are right. If they are, I think we need to learn about them, A, and why they think that, and B, try to figure out what to do about it.

Well, Kevin, I’m confident the next time you come on the show, I will have set up a fully AI influencer to make money doing [user-generated content] ads, which is the true future of, I think, all of our businesses.

The podcast is Machine Gods. It’s very good. You host it with Casey Newton. And the book is excellent. It’s The AGI Chronicles. Kevin, thank you so much for being on Decoder.

Thanks. It was great to see you.

_{Questions or comments? Hit us up at decoder@theverge.com. We really do read every email!}