普林斯顿 AI Alignment 小组谈 p(DOOM)：学生为何比演讲者更担忧 AI 风险

上周末，我受邀向普林斯顿AI对齐小组发表演讲，讨论存在性风险和各种形式的错位问题。我不太确定他们为什么特别邀请我，我只是互联网上的一个普通人，但我想他们的想法是我有一些观点，他们想要一些观点，而市场就这样达成了。尽管主题相当严肃，但过程很有趣！以下是我们聊到的一些杂七杂八的事情，以及我在聊天期间和之后脑海中盘旋的一些想法，理想情况下，这些表述比我实际聚会时说的更优雅，但比一篇真正连贯的立场文章更不优雅。非常感谢Emmett邀请我来参加。

I.

在一群大学生中感觉自己30岁很难受。非常容易想引用像‘还记得2010年的Facebook吗’这样的话，但这样做总是个错误，因为你会遇到茫然的眼神，这只会进一步凸显年龄差距。你什么意思，你不知道zynga是什么？？？不过，我并不羡慕这些孩子，他们正在一个极其动荡的时期成长。当然，不仅仅是AI。是……我不知道，一切？你环顾四周了吗？这是我第一次有这种鲜明的感觉：我经历过的时代与我们现在所处的时代不同。比如，举个例子，我和一个学生聊天时意识到，他根本不记得没有特朗普的政治周期。他从未经历过一个亲社会的硅谷，1或者知道一种没有无处不在的社交访问一切的生活。想象一下，这一切必定会如何改变对“正常”的认知。这让我感觉到自己的年龄。

这就是我们花了很多时间讨论的——‘正常’到底还意味着什么？从广义上讲，错位就是对共享规范的偏离。尽管对话一开始是关于AI的，但很快就偏离主题，转向了各种其他事情，比如我们的政治、经济、文化状况。在所有这些领域中，我们的规范是什么？那天外面阳光明媚，是那种只有东北部十月才有的日子，孩子们在谈论他们的p(DOOM)。实际上，这是他们首先分享的。每个人都围成一圈，按1到10的尺度排名他们对AI风险的担忧程度。我认为这是一个对数尺度，这使得7、8和9的数量令人惊讶且令人担忧。2

我说我自己的担忧程度大概是5。3我通常是房间里最悲观的人，所以不得不从另一边为自己的立场辩护，这是一种奇怪的节奏变化。如果你想读我更悲观的看法，请查看这里、这里和这里。

II.

最明确表达出来的担忧是标准的 Vernor Vinge / Tim Urban / Yudkowski 式的科幻恐惧与博弈论混合体，一位学生大致总结为：“AI 会不断变得更好，而你已经写过 对齐似乎是一个不可能的问题，而且还有其他无法控制、可能怀有恶意的行为者正尽可能快地竞相将其释放到世界上，没有任何防护措施。那你为什么不吓得屁滚尿流、彻底抓狂呢？”

老实说，这取决于哪一天。确实有些时刻我确实在抓狂。我认为这个三段论足够直白。

但我也比十年前老了十岁，我认为随着时间增加而浮现出来的一件事是，我们意识到未知的东西远比我们以为的要多，而且世界有一种有趣的保持稳态的方式。如果 AI 工具继续递归地变得更好，并且如果我们没有足够的时间来开发监控和安全工具，并且如果我们无法协调出某种应对措施，那么事情可能会变得相当棘手。但至少现在，这些假设还需要更多证据支撑。

IIa.

以 RSI，即递归自我改进为例。RSI 的基本理念是，随着模型变得更好，它们将能够在训练模型的过程中不断找到更多、更好的改进，直到 AI 开始以指数级速度自我改进。在这种世界模型中，你可能一夜之间从 GPT-5 跃升到 GPT-50。RSI 是最糟糕的末日论场景的核心假设，因为它极大地缩短了我们的响应时间。大概最好由 Tim Urban 来解释（有趣的是，正是这篇文章促使我最初进入 AI 领域）。

但这种世界模型隐藏了很多东西。例如，它假设 AI 会基于资源的线性增长而指数级变好，尽管我们迄今为止所知的一切都表明恰恰相反。AI 能力遵循幂律，模型需要指数级更多的算力和指数级更多的数据，才能线性地变得更好。

事实证明，获得指数级更多的算力和数据真的非常困难！你会开始撞上下游的限制，比如能源获取、芯片产能，再往下你还会遇到诸如“你从哪里获得稀土金属”这样平凡的问题。人类相当聪明，拥有人类辅助的 AI 更聪明，所以也许我们递归改进的 AI 会找到每瓦效率更高的模型架构，或者发现更容易大规模生产的芯片制造方式。但这类创新数量有限，而当你开始摘取低垂的果实时，进展会大幅放缓。就连摩尔定律最终也耗尽了燃料。

RSI 假设存在正反馈循环，但大自然 讨厌 正反馈循环。唯一真正无限正反馈循环的例子是黑洞 [编辑：Harjas Sandhu 在评论中指出，就连这也并非如此]。其他所有正反馈循环都依赖于燃料，而事物增长得越快，燃料耗尽得也越快（核武器、人口增长等）。因此，要想实现真正快速的能力/智能爆炸，模型的改进速度需要克服巨大的 负 反馈循环，这个循环使得每一次渐进式改进都变得明显更加困难。

这并不是说 AI 不会变得更好。但变化在发生得极其迅速时才最具破坏性。我认为我们会有更多时间来适应，至少比那种一夜之间能力爆炸、让恶意 AI 真正变得危险的情况要多。从某种意义上说，我认为这是唯一重要的问题——在 AI 能力提升的每个阶段，我们有多少时间来弄清楚对齐问题？4

另外，顺便说一句，在我看来，前沿实验室正在走向广度而非深度——在过去 6 个月里，这些模型在写代码方面确实变得更好了，但在做与写代码基本无关的事情上变得 远远 更好，比如阅读法律摘要。其中一部分是实验室试图获取的数据类型所带来的下游结果。一个懂得做法律事务的模型，可能比一个不会做法律事务的模型更擅长写代码，这仅仅是因为苦涩的教训和 压缩即智能。但其中一部分原因是我们已经快没有让模型更擅长写代码的办法了！

IIb。

或者拿“无法控制、可能怀有恶意的行为者”这一点来说。不可避免地，每个末日论者都会有某种版本的这种对话：

末日论者：“AI 会把我们全杀了”

普通人：“那就……别造 AI 不就行了？这有什么难的？”

末日论者：“嗯，我们不能不造 AI，因为如果我们不造，其他无法控制、可能怀有恶意的行为者就会造，然后他们就会 <用它做坏事>。”

首先，我们能不能体会一下这个论点有多么微妙和反直觉？我认为很多末日论群体真的 真的 对这部分一笔带过，这很合理，因为这显然是该论点中最薄弱的部分。还值得注意的是，这里所说的末日论者往往就职于某家前沿实验室，呃，这可真是一点忙都帮不上。往好了说，这也让人对这位末日论 AI 研究者对伦理（以及虚伪）的一般理解产生一些疑问。

但先把这些放在一边。

在 2026 年，“恶意行为者”这个词基本上总是意味着中国政府，因为没有其他地缘政治力量有能力创建前沿 AI 模型。所以这个想法是，美国实验室 不能 停止构建前沿 AI，因为中国实验室 不会 停止构建前沿 AI。这是 Anthropic 最喜欢的论点，这也是为什么 他们在关于开源模型的声明中提到了中国或中共 13 次。

我觉得这相当奇怪！

我一直认为，假设中国实验室在有足够国内压力的情况下不会停止/被迫停止开发前沿AI，这种想法很愚蠢。你可以对中共提出许多说法，但很难论证他们不非常关心稳定。AI作为一种技术——伴随着大规模裁员和岗位替代的种种威胁，更不用说AI男友/女友产业——具有深远的破坏稳定作用。所以，中国政府已经比美国更 多 地 监管 其 AI产业，或许并不令人意外！

人们似乎把中国建模成一个单一的铁板一块的实体，只专注于摧毁美国，更像是一个恐怖组织，而不是一个对超过十亿人负责的现代国家。依我看，这有点短视。

要么AI具有极大的破坏稳定作用——那样的话，中国政府将拥有与美国实验室非常相似的动机——要么它没有。你很难论证它会在美国破坏稳定但不会在中国破坏稳定（如果真是那样，也许我们应该干脆让中国政府来构建AI）！5

好吧，但为了论证起见，假设中国实验室尽管有破坏稳定的影响，仍不停止开发前沿模型。再假设美国政府确实单方面暂停了模型开发。那又会怎样？

最大程度的末日论立场对我来说很难为其辩护，因为我自己也不完全理解它。中国政府可能会获得某种“领先”，这可能转化为某种大规模的力量投射增强。一名学生假设，AI的进步将允许中国政府通过“超级说服”破坏其他国家的稳定；另一名学生认为，整个军工产业栈将获得巨大的效率提升，帮助中国生产更大更强的武器；第三名学生则说，中国可以利用其优势入侵并瘫痪美国广泛的军事设备。

我不知道，也许吧？我持怀疑态度。

我认为我对前两个论点的问题在于，它们都依赖于某种递归自我改进（RSI）情景，即美国对中国模型能力的提升完全措手不及。这似乎极不可能，除非你也假设我们在第IIa节中谈到的那种真正快速的指数级能力进步——当然，这对中国研究人员和对美国研究人员一样令人惊讶。我认为，如果中国政府突然有机器人在矿场工作，或者他们迅速建立起多出许多个数量级的算力和能源，我们会注意到。如果还不明显的话，我对超级说服更加怀疑。至少对于“工业产能”那件事，我们对其可能如何发生还有些概念。超级说服在我看来总是像对人类境况的根本误解，类似于程序员认为法律是一种可以被钻空子的算法，而不是一种在缝隙中得到维护的社会契约。

在我看来，中国实现某种实质性“领先”的概念本身就值得怀疑。所有AI实验室都极其容易泄密。知识产权随着员工跳槽的速度而迅速传播，而前沿模型蒸馏似乎已成为LLM训练的永久特征。这两者共同确保，太平洋两岸取得的任何进展最多在6个月内就会被共享。什么样的领先会如此不可逾越，以至于6个月就足以使其永久化？

我确实认为网络安全风险是真实存在的，我也公开表达过对让AI系统接触生物实验室的担忧。不过，我不认为那里的主要风险会来自中国。我确信中国、美国、俄罗斯、几个欧盟国家，可能还有朝鲜，都有能力做诸如入侵物理基础设施并造成破坏之类的事情。这些网络风险已经存在很长时间了；但到目前为止，我们还没有因为有人入侵而出现电网或供水的大规模中断。我不打算推测为什么我们还没有看到无差别的网络战争罪行。我只想说，任何假设AI带来了质的新网络安全风险的人，都需要应对所有旧的网络安全风险。博弈论对我来说不太成立。这不是《文明》游戏。

好吧好吧，但为了论证起见，假设存在某种大规模的递归式领先，而且它也不会立即破坏中国政府的稳定。那又会怎样？

我还没有遇到一个人能够清楚地说明，究竟会发生什么。是的，我理解也许美国不再是世界上的主导超级大国，但那是如何发生的，接下来又会发生什么？有些人含糊地暗示中国会发动侵略战争，6但这些人通常对当前正在进行的美国侵略战争没有好的回应。你知道的，那些正在积极利用AI瞄准平民的战争。一名学生认为，中国会利用其在AI方面的优势，通过制造非常便宜的商品和治愈各种疾病来垄断市场，但我指出那似乎挺棒的，为什么这又是一件坏事呢？

无论如何，我是美国治下和平（Pax Americana）的坚定信仰者和支持者。我反对我们现任政府的一部分原因，就是它不断摧毁让美国伟大的东西。但如果你担心中国崛起为超级大国，AI应该排在你清单上的第35位左右。而如果你担心AI，那就直接推动单方面暂停，不要在对恶意行为者的担忧上含糊其辞。

另外，顺便说一句，我认为尤其是 Anthropic，以及整个 AI 行业，已经因为一种明显的虚伪而挥霍了大量善意：他们声称 AI 会杀死所有人，但无论如何都必须把它造出来，因为中国，然后又转身把他们的 AI 接上美国的武器。他们不能两头都占。要么这项技术是一种极其危险的、灭绝级别的技术，那样的话他们就应该尽一切可能避免军事应用；要么他们承认它不会终结世界，并收起那副姿态。关于 谷歌员工不愿为国防工作，你可以说很多，但至少他们在内部是一致的。连小孩都能告诉你，AI 行业当前的“中间立场”完全是无稽之谈。

III.

在所有这些 AI 对齐讨论之下，是一种更模糊的不安，某种被不准确地表述为：“什么是‘善’？过上好生活意味着什么？为什么我们的社会被构造成这样——许多人都公开说坏的事情却不断发生？”

难题。我只是个来自互联网的人，我懂什么？

我们从谈论其他类型的未对齐实体开始。未对齐的 AI 与未对齐的公司或政府之间有很多相似之处。它们都是优化器，寻找非常直白的奖励工具（损失最小化、参与度、金钱、选票），并且能够为了达成短期目标而破坏底层系统。我在 万物的优化理论 中对此有大量论述：

这里有一个不太准确的故事，讲我们是如何走到这一步的。我们想为人类繁荣而优化。但我们不知道如何衡量它，于是我们转而创建了一堆其他系统，它们各自为不同的东西而优化，并让它们互相对抗。媒体与商业和政府相争，商业与媒体和政府相争，政府与媒体和商业相争。一场经典的墨西哥对峙。

有一段时间，这三者彼此绕着下水道打转，最终都被导向善，事情很好，繁荣存在。然后有一天我们发现，这些东西不再彼此对抗优化，反而实际上越来越合流。事实证明，如果你已经掌握了另外两样东西，那么为参与度、资本或选票而优化是很容易的。

…

当这些优化器全都坍缩进彼此之中时，它们加速了。你最终得到这样一个实体：参与度劫持、资本积累和政治权力，它极其、极其擅长为这些东西而优化。而我们发现自己离真正让人类繁荣变得更好越来越远。

万物的优化理论简单地说就是：当前社会中的所有问题都源于优化器变得太擅长优化，结果它们狭隘地聚焦到某个没人真正在乎的随机指标上，而偏离了那些难以衡量的、有用的生产性事物。

而要阻止这些优化器真的很难。它们太擅长优化了，以至于已经重构、阻止或封堵了大多数合理的阻止途径。

…

你无法解决你不理解的问题。我认为，把矛头指向单一行为者——无论是个人、企业还是政府——并因为他们存在而愤怒，是错误的。大量用于诋毁移民、亿万富翁或其他任何人的精力，完全是误入歧途。总体而言，优化器只是不假思索地对激励做出反应。是的，我们的万亿富翁现在是万亿富翁了。但如果他不存在，也会有别人。

但也许我过分强调了系统的作用以及被卷入其中的人们的无助。大多数读过那篇文章的学生似乎已经感到沮丧，仿佛无法逃脱优化器无情地追逐其回报的步伐。而我认为这也不完全对。拥有志同道合的人非常重要，甚至可能是最重要的。

我认为，将个人责任归咎于‘系统’已经变得非常流行。这就是上面那种对华挑衅的明确主线。“好吧，我不得不杀死所有人，因为激励。你看，一切都关乎激励，我不该为自己的任何行为负责！”同样的总体论点曾被用来为各种暴行辩护。当我看着那些手握方向盘的人时，我不禁想问。行业巨头们是否志同道合？山上的那些人呢？他们手握方向盘，我会感到更安全吗？谈论系统和激励显然非常重要。但你不能长时间凝视深渊。如果你整天思考作用于你的力量，很容易忘记你也在施加力量。

事实上，我认为特朗普2.0的一大教训就是，一个不志同道合的人如果真的有非常非常强的动机，能造成多大的破坏。我在全国都看到了这种回响。因此，我从未像现在这样坚信支持那些试图行善的诚实之人，即使我不同意他们打算如何实现目标，是多么重要。学生们真的很想谈论系统。很难让他们明白，任何不是物理定律的东西实际上都只是社会惯例。每个决定的底层都是人，而不是激励。是个人做出个人选择。

IV.

就像我一开始说的，我同情这些孩子。在我成长的过程中，我有积极的榜样可以仰望。一年级时我想成为比尔·盖茨那样的人，因为他试图让亿万富翁捐出一半财富。中学时我观察巴拉克·奥巴马和约翰· McCain，他们都真诚地关心国家，并抛开政治分歧，在各自的总统竞选很久之后仍是朋友。如今，富人和权贵积极试图让亿万富翁放弃他们的慈善捐赠。如今，政客们通过幕后加密货币交易赚取数十亿美元，并试图操纵选举。

如今，孩子们谈论的是Roy Lee。

我惊讶地发现，房间里的每一个人都认识 Cluely 的创始人，也就是那个“什么都作弊”应用的创造者（不，我不会给它链接）。他们未必钦佩他。但他们看到，他利用愤怒诱饵 和反社会行为，把自己 catapult 到了硅谷的上层，在此过程中筹集了数百万美元。他们带着几分厌恶和几分钦佩看待这种骗局。

我不想在 Roy Lee 身上花太多时间——说实话，我从来不想花时间去想 Roy Lee，任何我最终不得不这样做的一天都是稍微糟糕的一天——除了说他的行为是这个国家更大范围道德根基沦丧的一个症状。腐败仅从一阶效应来看显然就是坏的。但还有大量未被衡量的二阶效应。可见的腐败削弱了整个社会结构。如果努力工作、做正确事情的好人不断被那些玩“背叛机器人”的人坑害，那么努力工作和做正确事情还有什么意义？为什么不干脆去构建下一个体育博彩应用或刺激信息流机器呢？

这让我想起吉米·卡特的“信心危机”演讲。水门事件仅五年后，能源危机持续，越南战争和主要政治人物遇刺引发广泛内乱，卡特上了电视，开场说了以下的话：

我现在想和你们谈谈对美国民主的一个根本威胁。我指的不是我们的政治和公民自由。它们会持续下去。我也不是指美国的外在实力——这个今晚在全世界各地都处于和平之中、拥有无与伦比的经济实力和军事力量的国家。这个威胁在平常方式下几乎看不见。这是一场信心危机。这是一场直击我们国家意志的核心、灵魂和精神的危机。我们可以在对自己生活意义的日益怀疑中、在我们国家目标统一性的丧失中看到这场危机。我们对未来信心的侵蚀正威胁着摧毁美国的社会和政治结构。

他在1978年说了这些话，但它也适用于今天，不是吗？极具先见之明。

我过去曾写过关于虚无主义的文章，以及它似乎如何攫住了硅谷最年轻的一代。 这些天我经常思考的一件事是，基本上不存在一个共享的、有根基的起点来构建一种共同伦理。如果你是一个在2026年思考人工智能的大学生，你可能根本没有任何关于“美好生活”究竟意味着什么的框架。你可能甚至从未想过要问这个问题！7

自然厌恶真空。并不是说人们会毫无目标地四处游荡。我认为物质主义自然会填补这些空白。“我喜欢吃、旅行和拥有东西，那为什么不多来点这些呢？”或者，更进一步：“我喜欢拥有权力，所以……”

我喜欢阅读宗教文本的一个原因是 我认为它们非常具有林迪效应。有些东西代代相传、引起共鸣，某种真理的内核造就了它们的经久不衰，而且我认为在苹果或谷歌解体很久之后，人们仍会继续阅读《圣经》和《吠陀经》。我觉得有趣且重要的是，基本上每一种宗教都说真正的幸福在于服务他人，而物质主义是一条死路。就连兰德式的客观主义也是以推动社会进步为根基的！8另外，我这个人就是个彻头彻尾的经验主义者，而从经验上看，我们当中最富有、最有钱的人似乎并没有过着幸福而充实的生活。就像，天哪，你们有那么多钱，却在推特上发悲伤帖？

我一时兴起，问观众中有多少人定期参加某种宗教仪式；只有一个人举手。每一代人都要经历自己的危机，有些是内在的，有些是外在的。我认为Z世代晚期和Alpha世代早期的人要爬的坡很陡，因为他们的危机是信心危机。他们需要审视这个世界，用清醒的眼光认识到不存在客观的道德真理，上帝已死，人类可能并非宇宙中唯一有智慧的事物。而在理解了这一切之后，他们仍然需要选择去构建一套道德框架，并依然遵循一套伦理准则来生活。

这真的、极其困难。

我的建议是读一点尼采，但别读太多。大约70页左右。

V.

回到AI的话题，学生们问的最后一个问题是“当今AI对齐面临的最大问题是什么？”

是人。AI对齐面临的最大问题在于，许多从事AI工作的人自己就是不对齐的。

我不认为有谁真心相信前沿实验室的领导者们对更广泛的社会公益有多大兴趣。这些人可不像是在职业生涯之外还热衷于慈善捐赠和公共服务的人。在某些情况下，情况恰恰相反——他们中许多人以马基雅维利式的权力追逐而闻名，而另一些人似乎痴迷于单方面毁灭人类以迎接机器神明的降临。

这不仅仅是一个形象问题，尽管它当然是一个巨大的形象问题。我也相信，一个不对齐的模型更有可能出自一个不对齐的人或一家不对齐的公司。如果由弗雷德·罗杰斯这样的人来掌管领先的前沿实验室（或者当总统），我会对AI对齐放心得多。

所以，如果你是一个聪明的、最好读过一些伟大文学作品、并且担心AI对齐的大学生，我建议你首先要在自己心中培养对“美好生活”究竟意味着什么的理解。然后，你知道的，去任何一家AI对齐机构工作，如果想要引荐，可以联系我/给我发私信。

1

湾区很多人显然仍然亲社会，但我认为你很难再找到2000年至2016年间那种无处不在的行善渴望。如今，有更多人变得反复无常，只想赚钱，甚至连亲社会正当性的遮羞布都不要了

2

当然，这是一个相当自我筛选的群体。也许只有20个人决定花周六的一部分时间，在网上和某个家伙谈论AI生存风险。所以我不一定将其推广到其他学生群体。

3

5并不意味着“有50%的概率出现坏结果”。我把这个量表理解为我们在解决这个问题上投入的努力相对于我认为我们应该投入的努力，而且这本来就是凭感觉的。也许5/10更接近于“当我想到AI风险时，一半时间我担心会发生严重的事情，一半时间我不太担心。”

4

我们目前是否处于快速起飞RSI循环中？不，我不这么认为。尽管AI在过去6年里显著变好，尽管在某些图表 上这种增长看起来是指数级的，但其中很大一部分增长来自于利用已经存在的计算和数据。从gpt-3到gpt-4的能力跃升尚未被复制；尽管gpt-6非常好，但gpt-6和gpt-4之间的差距小于gpt-4和gpt-3之间的差距

5

你可以提出的一个论点是，中国研究界低估了AI风险，但这在我看来也很奇怪。中国有成千上万的人在研究这个问题，还有数万人在中共工作，而没有任何人对AI有担忧？如果这是真的，这应该多大程度上更新我们的先验？我认为这最终成为严重担忧的唯一方式是，如果你相信1）AI会有真正危险的目标，并且2）它能够成功地假装在其他任何方面都不足以造成不稳定，以至于3）中国实验室没有注意到或没有动机放慢速度。忘掉超级智能吧，仅仅出于普通的经济原因，这似乎就不太可能！

6

而且公平地说，我至少能理解尝试夺取台湾的企图，尽管我仍然相当怀疑这符合任何人的利益

7

我认为极端功利主义也变得非常流行并非巧合。它是一个运作良好的道德体系，相当容易理解，尽管它可能不会带来特别充实的生活，而且常常最终搬起石头砸自己的脚。

8

稍微往前跳一点，兰德（Rand）的整个计划是试图构建一种亲社会的伦理，这种伦理在宗教伦理和后来的共产主义/阶级伦理失败之后，扎根于自身利益。她并没有真正成功，但我认为她尝试了这一点非常令人钦佩，而很多人基本上完全误解了这个目标，认为“自私是可以的。”

没有帖子