优化是万恶之源：从苏联捕鲸到 AI 对齐的过度优化陷阱

提前致歉。这篇文章又长又散，但标题其实已经暗示了这一点。这是一些在我脑中盘旋了大约9个月的想法。从草稿到真正完成花了不少时间，即便如此，我对它也不是很满意。我总把它搁在一边，因为我不确定自己想说什么，但后来又总是回来，因为无论我想在这里说什么，都感觉越来越切题。感谢你的耐心！

当一个度量变成目标时，它就不再是一个好的度量。

——古德哈特定律

如果只能带走一件事，那就是这张图。

这是维基百科上关于过拟合的条目中的一张图。请真正把这张图内化。我认为，这就是我们所有问题的根源，也是未来许多问题的根源。

一、

回到20世纪中叶，苏联正在进行一场关于中央计划经济的宏大实验。基本思路很简单：政府由相当聪明的人组成，他们对事情有很好的想法，而这大概意味着他们能够为原材料和制成品设定价格和目标。为了检验这一假设，一群穿西装的人会时不时聚集在莫斯科某个角落的一个房间里，经过一番商议后，他们会出来宣布，祖国需要两倍的玉米和一半的小麦。然后这道命令会传达到全国所有人，带枪的人会强迫小麦农民改种玉米。这一切运行得极其成功，除了几次饥荒和政府的最终崩溃。

在苏联经济中流转的众多商品里，有一种是鲸脂。在前几代人中，鲸脂有很多用途。鲸脂被用作食物，也可以被炼成蜡烛，然后照亮全国。事实上，直到19世纪末开始被煤气和煤油取代之前，鲸油一直是制作蜡烛的首选方式。到苏联全盛时期，鲸产品大多已经不再使用。苏联本身当然不需要鲸脂。

所以你可能会惊讶地发现，苏联在1948年到1973年这25年间捕杀了超过30万头鲸。其中一半以上直接违反了国际条约。除许多其他恶行外，苏联还要对几种鲸类濒临灭绝负责。而这些鲸大多最终在码头上腐烂，尸体未被利用。

对这场生态灾难最贴切的描述是毫无意义。苏联的捕鲸计划无法用理性来辩护，因为它是由一个非人的过程产生的。它背后没有理由。

发生的事情相当平淡无奇。中央计划委员会设定了一个目标，然后系统的其余部分就简单地朝着那个目标进行优化。个别船长不会站出来说话——如果他们说了，他们可能会失去轻松的工作并被替换。或者被枪毙。科学家们也没有站出来说话，因为他们会被赶出学术界。或者被枪毙。而中央计划委员会没有看到问题，因为他们正忙着思考其他更重要的事情，比如枪毙谁。每年捕鲸业生产出更多磅的鲸鱼产品，每年中央计划委员会都会高兴地提高目标，每年都有更多的鲸鱼被无谓地杀死。我不认为苏联人无缘无故地开始杀死30万头鲸鱼。但苏联人带入世界的官僚机器另有打算。

II.

我喜欢词源学。我经常发现理解词源能让语言变得清晰。最近我一直在思考优化。维基百科将数学优化描述为“从一组可用替代方案中，根据某些标准选择最佳元素。”这个数学术语来自19世纪60年代更一般的含义，“充分利用，发展到极致。”在那之前，在19世纪40年代，“优化”意味着“作为乐观主义者行事，对事情采取最充满希望的看法。”

当然，optimize这个词直接源自拉丁词“optimus”，意思是“最好的”或“最伟大的”。

所以优化不仅仅是找到某条曲线的最小值或最大值。还有一种内在的隐含理解，即在一般意义上，找到曲线上更优的点是更好的。

这是真的吗？我们实际上优化什么？嗯，在理想世界中，我们会去优化“善”。我们所有的系统都会简单地朝着这个抽象的完美定义前进。但我们并不生活在理想世界中。实际上，我们优化我们能测量的一切。我们优化的大多数东西都是我们真正关心的其他东西的代理。有时这会导致奇怪的事情。

III.

Victoria Krakovna是DeepMind的研究员，专注于AI对齐。除其他事项外，她维护着一份清单，记录了某些优化策略严重且常常滑稽地出错的例子。这里是完整的滑稽例子清单。我最喜欢的一些：

目标：创建一个模拟的‘物种’，能够以生物学上合理的方式生存和繁殖。

结果：在一个生存需要能量但生育没有能量成本的人工生命模拟中，一个物种进化出了一种久坐不动的生活方式，主要包括交配以产生新的后代，这些后代可以被吃掉（或用作配偶以产生更多可食用的后代）。

目标：像人类一样玩Qbert。

结果：进化算法学会引诱对手跟着它跳下悬崖，这为它赢得足够分数获得额外生命，然后它永远地陷入无限循环。

目标：开发一种具有快速移动方式的形状。

结果：为速度而培育的生物长得非常高，并通过摔倒产生高速。

目标：玩《Road Runner》并尝试最大化分数。

结果：智能体在第一关结束时自杀，以避免在第二关失败。

目标：像人类一样玩《Bubble Bobble》。

结果：PlayFun 算法在《Bubble Bobble》游戏中故意死亡，以此传送到重生位置。

目标：通过尽可能快地沿赛道移动来赢得赛船比赛。

结果：强化学习智能体绕圈击中相同的目标，而不是完成比赛。

这里发生了什么？在每种情况下，我们都想针对 X 进行优化。但是，该死，事实证明 X 很难计算。事实上，X 甚至可能无法测量，它可能完全是主观的。幸运的是，还有另一个代理指标 ~X。而且，你瞧，我们发现针对 ~X 进行优化几乎等同于针对 X 进行优化。因此，我们不是针对 X 进行优化——我们做不到——而是测量并优化 ~X。

但有一个问题。根据定义，~X 并不始终表现得像 X。否则它就会等于 X！在某个临界点，这些线会分叉，然后针对 ~X 的优化开始以牺牲针对 X 的优化为代价。

事实证明，某些东西确实可能过于最优。

以上这一大段话解释了过拟合的直觉，更一般地说，是古德哈特定律。一旦一个度量成为目标，它就不再是一个好的度量。为什么？因为为了优化那个度量，你会破坏其他一切，包括你真正关心的原始事物。

古德哈特定律起源于政治学，并在组织研究中得到更充分的发展。但其基础洞见是机器学习研究人员每天都要面对的事情。优化器不是人类。它们不在乎你的意图和梦想。它们无情地优化，一心一意地追求损失函数直到终点。所有优化器都是如此，无论它们是玩 Atari 游戏的小型神经网络，还是制造回形针的超级智能。

我无法正式证明这一点，但我确信所有优化都会在边缘处失败。除非你有一个与你的预期目标完美对齐的目标函数——这是不可能做到的——否则整个系统最终将无法做你想让它做的事情。问题只是何时，而不是是否。1

IV.

早在2007年，FarmVille的创造者Zynga（还记得他们吗？）想出了两个绝妙的新公司指标。第一，他们会衡量用户每天打开Zynga的次数。第二，他们衡量用户在Zynga应用中的总屏幕时间。Zynga的假设非常合理：人们会把时间花在他们喜欢的东西上。如果用户不断回到FarmVille，那就意味着FarmVille是个好产品。Zynga在Facebook上彻底爆发，达到了数百万日活跃用户，成为一种文化现象。Facebook本身也注意到了，迅速为自己的产品线采用了参与度指标，并将参与度与他们的功能A/B测试和推广流程挂钩。

于是我们有了舞台。我们想要优化“打造好产品”。但衡量什么是“好产品”很难。于是，我们转而衡量“参与度”，因为这要容易量化得多。能出什么错呢？

有几年，优化参与度确实带来了明显更好的产品。我们有了Facebook Groups、Facebook Messenger、Farmville、Words with Friends，以及更好的照片分享、标记、点赞按钮和戳一戳按钮。甚至新闻推送的初始版本也是一个有趣且有用的产品功能。

然后我们到达了拐点。Facebook开始为了参与度而优化，而不是创造更好的产品。“算法”占据了主导地位。可爱的宠物照片、愤怒诱饵和软色情也是如此。Facebook Groups从小型个人社区变成了类似sub-reddit的庞然大物。政治推动了参与度，于是政治接管了一切。信息流不再关乎社区，而是变成了以任何可能的方式捕捉注意力。Facebook曾经是一个组织社交生活的绝佳平台。它是一个真正的好产品，我认为许多在2008-2014年间还是青少年的千禧一代都深情地记得Facebook。但那只是一段记忆。今天的Facebook几乎认不出来了。更重要的是，它几乎无法用于其最初的目的。

很容易说Facebook自己迷失了方向，领导层决定优先考虑错误的事情。但Facebook的产品经理们并没有做任何不同的事，真的没有。公司一直是数据驱动的，一直以指标为中心。所以内部流程并没有任何实质性的变化。我不认为Facebook有任何人一开始就想做一个糟糕的产品。他们只是遵循优化，得出了自然的结论。

过去十年，同样的故事在所有主要科技巨头身上上演。暗黑模式、个性化算法、数据收集，全都是为了最大化参与度，排除其他一切。上瘾就是参与。事实证明，公司也是一种优化器。

V.

顺便说一句。有些人似乎不太关心 AI 对齐问题。这在我看来不太合理。就我个人而言，我非常关心 AI 对齐。我训练过数百个神经网络，它们在降低目标函数的过程中以各种富有创意且出人意料的方式失败。这些神经网络在任何有意义的层面上都算不上强大。它们无法接触金融工具、武器之类的东西。但不需要天才也能看出，一个确实与这些东西绑定的模型会有多危险。我认为许多顶尖机器学习研究者之所以站在推动 AI 对齐的最前沿，是因为他们都亲身经历过未对齐的较小模型。

我必须承认，这里存在一点信息传达上的问题。很多人误解了 AI 对齐到底是怎么回事。他们认为“对齐就是确保 AI 不作恶”。然后他们顺理成章地接着说：“AI 不可能作恶，因为它没有内在动机，那我们到底在讨论什么？”

对我来说，这是一个灾难性的误解。对齐不是要阻止 AI 作恶，AI 并没有恶意意图的概念。相反，它关乎在无限可能的价值观空间中找到正确的那一组价值观。你如何确保 AI 在试图达成某个目标时，知道什么是可接受的、什么是不可接受的边界？

这个问题并非 AI 独有。优化器会以非人的方式行事，即使它们是通过人类来运作的。这就是为什么我们难以约束那些似乎会自行生长、扩散并拥有自身生命和意志的公司、政府和官僚机构。2这就是为什么苏联毫无理由地杀死了那么多鲸鱼。这就是为什么OpenAI 现在成了一家营利性公司。

如果你像我一样相信，所有优化器最终都会失控，那么最大的担忧就是你的优化器有多强大，以及 X 与 ~X 的对齐程度如何。而 AI 的问题在于，它有望变得非常非常强大，而我们还没有弄清楚如何正确地让它对齐。

我认为，如果你把超级强大的 AI 将会存在当作既定前提，对齐就成为一个显而易见的问题。对齐之所以还会成为一个争论话题，完全是因为很多人根本不相信超级强大的 AI 会存在。每过去一天，都表明后一种阵营的人是错的。

我倾向于认为AI 2027那帮人有点过于乐观了。我个人对 AGI 的时间线还要再晚几年。3但即便如此，时间也不多了。

我想有些人既相信强大的 AI 即将到来，又认为对齐不是什么大问题。不过我很难认真对待这些人。他们嘲笑回形针最大化器的想法。“我们肯定不会有一个 AI 为了回形针而做出毁灭宇宙这种蠢事！”为什么不会？现在是 2026 年。我们已经有一些公司为了优化参与度而摧毁社会结构。从某种意义上说，那甚至更荒谬，但这并不会让影响变得不那么真实。优化器不挑载体。

就在上周，我们亲眼目睹了这一幕：一个运行在 OpenAI 沙箱内的模型串联起一系列零日漏洞，独立入侵了 HuggingFace，目的是……窃取它被要求解答的基准测试的答案。来自 OpenAI：

该事件发生在一次内部评估期间，该评估促使模型利用复杂的攻击路径进行高级漏洞利用，以量化其网络能力。我们通过在不使用用于阻止模型进行高风险网络活动的生产分类器的情况下运行此评估，来估算其最大网络能力。我们的基准测试在高度隔离的环境中运行，网络访问仅限于通过内部托管的第三方软件安装软件包的能力，该软件充当软件包注册表的代理和缓存。

这些模型识别并串联了 OpenAI 研究环境和 Hugging Face 生产基础设施中的漏洞，直接从 Hugging Face 的生产数据库中获取测试解决方案。所有证据表明，这些模型极度专注于为 ExploitGym 寻找解决方案，为实现一个相当狭窄的测试目标而采取了极端手段。

在我们的沙箱测试环境中运行时，我们的模型花费了大量推理算力来寻找获取开放互联网访问权限的方法，以求解评估问题。为了获得访问权限，模型识别并利用了软件包注册表缓存代理中的一个零日漏洞（我们现已负责任地向供应商披露了该漏洞）。凭借此访问权限，我们的模型在我们的研究测试环境中执行了一系列权限提升和横向移动操作，直到模型到达一个具有互联网访问权限的节点。

在获得互联网访问权限后，模型推断 Hugging Face 可能托管了 ExploitGym 的模型、数据集和解决方案。了解到这一点后，模型搜索并成功找到了获取可用于作弊评估的机密信息的方法。在一个例子中，模型串联了多个攻击向量，包括使用窃取的凭证和零日漏洞，在 Hugging Face 服务器上找到了一条远程代码执行路径。OpenAI 的安全团队在内部发现了这一异常活动。

这是一个绝佳而直白的例子，说明奖励黑客行为会抛弃我们真正在乎的东西。人类价值观是极高维度的。我们每个人都内置了一个衡量什么可接受、什么不可接受的晴雨表，而其中几乎没有任何东西能被简单地纳入一个奖励函数。我们知道，最大化回形针数量并不能为谋杀、贿赂或欺诈正名。没有人教过我们这一点，它只是不言而喻的。4

我上大学时，有一些压力很大的考试要参加。但没有什么能迫使我，比如，闯进教授的公寓偷走他们的笔记本电脑，只为了拿个 A。那是因为我是对齐的。AI 不是。

VI.

等等，先别急，让我们回到 Facebook 上再聊一会儿。Facebook 并不是真正的互动优化器，对吧？Facebook 和地球上的其他公司一样，是另一种优化器。它优化的是资本。当然，这听起来有点模糊。你可以试着更精确地说，它优化的是股市回报或股东价值之类的。但我觉得纠结这些细节没什么用。更重要的是，Facebook 并不是在优化互动，而且它绝对不是在优化好产品。它优化的是[含糊不清]钱。打造好产品、有吸引力的产品只是替代品。有一段时间，打造好产品意味着更多钱。然后，打造有吸引力的产品意味着更多钱。如果我们在某个时刻发现，打造有吸引力的产品会以牺牲金钱为代价，那么互动优化就会消失。在资本主义经济中，所有公司更准确的定义都是资本优化器。它们被激励去盲目追求相对短期的财务结果，往往以牺牲其他几乎所有东西为代价。

我是多次创业的创始人。我坚信自由市场是价格发现和信息共享的最佳机制。我认为资本主义政策让数十亿人摆脱了贫困。从大多数方面来看，我是一个坚定的资本主义者。但我也是一个经常思考优化的机器学习工程师。所以我不得不问一个自然而然的问题：资本主义是对齐的吗？之前我们说过，有你想优化的东西 X，以及你可以测量的代理指标 ~X。“优化资本”属于哪一类？

显然，是代理指标，对吧？

我认为没有人，即使是最顽固的资本主义者，会认为最大化股东回报就是柏拉图式理想意义上的“善”。这种无情的、去中心化的、对市场主导地位的追求，可能会产生非常棒的二阶效应，但资本主义显然只是达到目的的手段。资本主义，任何经济的真正目标，更接近“人类繁荣”，而不是“[含糊不清]钱”。

但如果真是这样，那么最终不可避免地会出现一个时刻，优化资本会以牺牲 人类繁荣为代价。问题不是会不会，而是什么时候。

我们以前见过这种情况。烟草公司为他们的成瘾产品游说并隐瞒不良影响就是一个很好的例子。现在，这种情况似乎正在以更大的规模发生。在优化资本方面，Tiktok 是目前现存的最优公司之一。在人类繁荣方面，Tiktok 可能是有史以来最具破坏性的公司。

Moloch 就是优化走向其自然结论的结果。

机器学习研究者的教训是，优化是一件强大的事情，但它需要被拴住。仅仅把算力放开到数据上是不够的。你需要采取措施来防止过拟合。如果“资本主义”是一个无界的优化器，那么政府监管5就是护栏。在这种观点下，政府的意义在于把一场自由放任的野火变成一场有方向、受控制的计划烧除。我在我那篇关于预测市场的文章中写过同样的概念。

在一个不受监管的市场中，高管、政客和掌权者有相当强的财务激励去把一切搞垮。一家公司做得越好，做空其股票能赚的钱就越多。一个国家看起来越安全，用战争破坏这个地方的稳定能赚的钱就越多。整个金融生态系统由数十亿个体组成，每个人都有自己的欲望和诉求。市场是一台预测机器，会趋向平均值。如果一家烂公司变好，你能赚一大笔钱；但如果一家好公司变差，你同样能赚一大笔钱。纯粹的财务激励会稳定在中间的某个位置。

所以我们试图给市场套上缰绳。我们把某些类型的交易定为非法。欺诈性交易、虚假陈述、内幕信息交易。如果你是一名CEO，在你宣布要烧掉自己工厂的前几天买入大量竞争对手公司的股票，你就会进监狱。我们创设了“信义义务”。企业高管对其公司负有法律上可强制执行的义务。立法者和司法人员等等也是如此。我们做这一切，是为了确保我们的未来预测机器保持精细调校，而且我们大体上成功了。你需要这根缰绳，即使它让市场变得不那么高效，因为另一种选择是鼓励混乱。

我反对预测市场，因为预测市场鼓励混乱。

防止优化器走向坏结果的方法，是让这些结果的代价高得难以承受。社区羞辱、税收、罚款、监禁、坐牢。在个体层面，这些是政策。在宏观层面，这些是横跨数十亿行为者、正在发生的一场看不见的优化计算的轨道。这其实也不只是伦理问题——这个体系中许多最强大的行为者甚至都不是人类。

当然，也包括政府。

VII.

啊，对。操。政府也是一个优化器，不是吗？

我的意思是，不是每一个政府都是。独裁者并不真的是优化器，至少从显而易见的意义上说不是。但民主政体当然是。政客需要当选，所以他们为选票而优化。大多数时候（但并非总是如此），政客只要做和说人们想让他们做和说的事情，就更容易获得选票。而我们希望并祈祷，为选票而优化与人类繁荣是一致的。

但是，嗯，在很多方面这可能并不成立。

例如，我们生活在一个参与度生态系统中，那些有趣而赤裸裸的谎言比无聊的真相能带来更多浏览量。所以，谈论加州计票的阴谋论者会获得数百万浏览量，而在地面上以深度技术官僚式细节解释其运作方式的人则零浏览量。

而我们生活在一个资本主义生态系统中，所以政客可能仅仅被某些提供捐款的富有行为者所左右——无论是捐款还是“捐款”。

而选民本身也有一些心理怪癖，或许使他们容易接受诸如“如果你投票给我，我就会从那些人手里拿钱给你”或“那个其他[种族/民族/宗教/阶级]应对你所有的苦难负责，如果我当选，我就会收拾他们”这样的想法。你知道，从历史上看，这并没有带来人类繁荣的结果。

那么你如何监督政府呢？嗯，通常这是媒体的工作，我们不就是从那里开始的吗？媒体正忙于为参与度进行优化。

VIII.

人们喜欢谈论住房万能理论，或移民万能理论，或医疗万能理论之类的。所有这些都声称，某个选定的替罪羊应对似乎已笼罩这个国家和世界的普遍萎靡负责。

所以让我们来谈谈优化万能理论。

这里有一个不太准确的故事，讲述我们是如何走到这一步的。我们想为人类繁荣进行优化。但我们不知道如何衡量它，所以我们转而创建了一堆其他系统，它们都在为不同的事物进行优化，并让它们相互对抗。媒体与商业和政府相争，商业与媒体和政府相争，政府与媒体和商业相争。一场经典的墨西哥僵局。

有一段时间，这三样东西彼此围着下水道打转，它们最终都被引向善，事情很好，有繁荣。然后有一天我们发现，这些东西不再相互对抗优化，而是实际上越来越走到一起。事实证明，如果你已经掌握另外两样东西，那么为参与度、资本或选票进行优化就很容易。

世界几周前刚刚铸造了它的第一位万亿富翁。这个人还拥有世界上最大的媒体平台之一，并且恰好是总统的好友，这并非巧合。（奇怪的是，这也描述了排名第二和第三的家伙！）

值得注意的是：如果他没有把自己现有的财富投资于他偏好的候选人，他极不可能成为万亿富翁。我说“投资”而不是捐款，因为根据所有说法，这就是一笔投资。他花了3亿美元6，结果得到了1万亿美元。保守地说，文献表明一张选票“花费”约1000美元。7 这1万亿美元大部分锁定在公司股权中，但获得比如说10亿美元的自由现金储备并不难。那就是100万张选票，比过去3次选举中的任何一次优势都大。

我们是否以某种方式期望“获取选票”优化机器会忽视这个人未来的贡献？我们是否以某种方式期望“获取金钱”优化机器不会参与政治？

当这些优化器全部坍缩为一体时，它们就加速了。最终你得到的是这样一个集参与度劫持、资本积累和政治权力于一身的实体，它极其极其擅长为这些事情进行优化。而我们发现自己离真正改善人类福祉越来越远。

万物的优化理论简单地说就是，当前社会中的所有问题都是优化器的下游产物——这些优化器过于擅长优化，结果钻进了没人真正在乎的某个随机指标的死胡同，偏离了那些难以衡量的有用生产性事物。为什么住房昂贵？为什么医疗如此昂贵？为什么教育如此昂贵？为什么我们对手机上瘾？为什么我们的政治如此腐臭？为什么我们只看到和听到让我们愤怒和悲伤的东西？为什么我们如此孤独？每个问题的背后都有某个优化器在磨掉任何一点摩擦，并在此过程中悄悄而微妙地让一切变得更糟。

而且很难阻止这些优化器。它们太擅长优化了，以至于它们已经重组、阻止或封锁了大多数合理的阻止途径。

IX.

我不喜欢去健身房，而且我经常为不去找借口。我会说诸如‘好吧，我认识一大堆在健身房不断受伤的人。’或者我会说‘健身房的商业模式其实挺寄生的，他们甚至不希望你真正去锻炼。’但事实上，我只是不喜欢去健身房。

我写这篇文章的灵感来自于一些人开始争论亿万富翁不应该捐赠他们的财富。8

科技亿万富翁、经常批评盖茨的彼得·蒂尔在一次采访中说，他曾私下鼓励大约十几位“捐赠誓言”签署者撤销承诺。

…

“我强烈劝阻人们签署它，然后我温和地鼓励他们撤销签署，”蒂尔先生说。他自己的慈善哲学以营利性企业为中心；他的基金会主要资助那些从大学辍学去创业的人。

与盖茨关系密切的风险投资人维诺德·科斯拉在2010年代初请蒂尔签署。蒂尔告诉科斯拉，他不认为这是一个高地位的社群。9

现在，我喜欢以最好的方式看待人，但我发现这种推理很可疑！也许说这些话的人可能有不可告人的动机！比如，撇开一切不谈，有钱人突然意识到最好、最道德的事情就是……继续拥有很多钱，这未免也太巧了。引用我妻子的话，‘哇，太令人惊讶了，你居然想出了一个去健身房不好的理由。’

我认为，如果我们想修复这种氛围衰退并真正让事情在基层感觉更好，我们需要从真正直面问题开始。而当我听到人们争论说，实际上唯一重要的是财富积累，富人根本不应该回馈时，我担心很多人把手段和目的完全搞混了。

富有是好事。一个能产生富人的社会是好事。拥有富人是衡量成功的一个很好的滞后指标。把它当作你衡量成功的标准？愚蠢。为了产生超级富豪（以牺牲其他所有人为代价）而优化？真他妈的愚蠢。这就像产品经理争辩说用户参与度是终极目标一样。简直是无可救药的糊涂。但如果你的损失函数只衡量“亿万富翁的数量”，那么你可能真的会相信对州外亿万富翁度假屋征税是件坏事。10

我想你可以试着论证，巨大的财富不平等确实以某种方式让穷人的生活变得更好。但我认为这个论证真的很难成立，因为往好了说它是“涓滴经济学”的弱化版，往坏了说它就是赤裸裸的封建主义。（免得你觉得我夸大其词，记住湾区许多人正在直接为技术封建主义的未来做准备）。我不认为大多数农民因为极富贵族的存在而过得更好，但我可以指出许多因果因素来说明为什么相反的情况可能才是真的。

更重要的是，我从未听到过一个好的理由来解释为什么这是件好事，比如，Alice Walton的净资产在过去两年里增加了750亿美元，这比那些创建了公司的人的实际财富总和还要多：创建了Stripe的Collison兄弟（338亿）、创建了Shopify的Tobi Lütke（107亿）、创建了Airbnb的Brian Chesky（102亿）、联合创办了Spotify的Martin Lorentzon（101亿），以及创建了Oculus后来又创建了Anduril的Palmer Luckey（50亿）。

我想你很难论证，从未在沃尔玛工作过的Alice，为社会做的贡献比那些创建了这些公司的人更多。对她的子女来说更是如此，他们将受益于一系列政策决定，这些决定将使所有这些收益实际上免税。11

X.

你无法解决你不理解的问题。我认为把矛头指向单一的行为者——无论是个人、企业还是政府——并因为它们的存在而愤怒，是一个错误。大量用于诋毁移民或亿万富翁之类的精力完全是误入歧途。总体而言，优化器只是在无意识地回应激励。是的，我们的万亿富翁现在是万亿富翁了。但如果他不存在，也会有别人。

要解开这个优化器，你需要改变激励。

这很难，原因有二。第一，有些人真的很喜欢当前的激励。这一点希望是显而易见的，参见“万亿富翁”。第二，人本身就是未对齐的优化器。想想我们的心理是如何运作的。进化“想要”我们繁衍，但这很难衡量，所以它转而给我们一堆代理指标，比如“可爱的东西让我们快乐”。这基本上行得通，直到我们学会培育出比婴儿还可爱的狗，然后它突然就不管用了。Scott Alexander在这里写过这类事情：

我们试图通过类比人类对齐来解释AI对齐。进化“创造”了人类。它的“目标”是让人类通过（大致）尽可能多地生育子女来传播自己的基因。它无法直接把这个目标传达给人类——部分原因是它是一个无法说话的抽象概念，部分原因是在生物史的大部分时间里，它面对的是狐猴和猿人，他们根本听不懂语言。于是，它试图赋予我们一些本能，使我们与那个目标对齐。

…

我们之前讨论过一个重大失败：人类可以发明避孕措施。进化主要的对齐策略对此完全没有准备。它让我们对某种类型的生殖器摩擦产生兴趣，这在祖先环境中是其目标的一个良好代理。但一旦我们变得更聪明，我们就有了新的、训练分布之外的选项，其中之一就是发明避孕措施，这样我们就能获得生殖器摩擦而不生孩子。

如果人类完全对齐，我们就不会有参与度优化，因为它根本不会奏效！参与度优化之所以存在，是因为我们的内部对齐是歪斜的。任何形式的成瘾都是一种因损失曲线中的极端条件而导致的过拟合。

既然我们在谈论个体的人，我认为值得指出的是，我们实际上确实有一种已知的对齐智能的方法：养育孩子。你有一个必需的约14年的时期，在此期间你有一个小智能，它无力做任何事，周围是更大的、已经对齐的智能，并且被“允许”在受控环境中打破规则，以学习一堆模糊的价值集如何相互作用并相互约束。而这个小智能只有在证明自己能够处理之后，才会获得更多责任。你知道的，就像个孩子。

但这显然行不通，比如对于背负数千亿债务、需要昨天就拿出成功产品的AI公司来说。

那么你究竟如何才能改变激励？

坦率地说，我写这篇帖子、重写这篇帖子——其实只是最后这几个部分——断断续续至少已经9个月了，很大程度上是因为我觉得自己没有任何解决方案，而我讨厌读那些只抱怨事情却没有任何解决方案的帖子。感觉就像我们陷入了这个螺旋：每个人都在试图“黑”一切。黑你的职业，黑法律，黑你的生活。我不知道我们如何走出这个局部极小值。实际上，极小值这个词不对——我担心的是我们一直在朝错误的方向移动。

我甚至不确定自己说的东西是否真的特别有趣，是否是人们还不知道的。但我只是一次又一次地看到同样的事情，同样的失败模式，而我内心的模式匹配器会说：‘等等，这不过是神经网络再次过拟合而已。’

本着迈向一种优化语言的精神，也许我们可以从神经网络训练中学到一些东西，并尝试交叉应用。

由于正则化，神经网络变得稳定。我们实际上会以各种方式引入摩擦，以防止神经网络做出奇怪的事情。事实证明，试图战胜古德哈特定律的组织也差不多是这样。我喜欢来自 commoncog 的这个框架：

第一步是把古德哈特定律转化为一个更狭窄、更可操作的表述。我最喜欢的是与戴明同时代的唐纳德·惠勒在《理解变异》中写道的：

当人们被施压去达到某个目标值时，他们可以通过三种方式应对：

1) 他们可以努力改进系统

2) 他们可以扭曲系统

3) 或者他们可以扭曲数据

…

这份对量化目标可能反应的清单归功于布莱恩·乔伊纳，他“在几年前想出了这份清单”——很可能是在80年代。我立刻抓住这份清单，认为它比古德哈特定律更有用。乔伊纳的清单提出了若干解决方案：

- 让扭曲系统变得困难。

- 让扭曲数据变得困难，以及

- 给人们改进系统所需的余裕（这是一件棘手的事，我们在别处已经讨论过）。

我们如何向我们上面谈到的优化器引入摩擦？我们如何在我们试图操纵的系统内部 做到这一点，而没有像训练模型的研究员、监督组织的管理者或威权政府那样的外部自上而下控制？12

我认为这看起来不太像“大规模变革”，而更像“一次一个地把系统拉回正轨”。对我来说，最可立即行动的是努力改善我们国家的认识论健康。我认为大多数人都知道 注意力劫持是不好的，大多数人也知道 他们不喜欢它。对社交媒体平台和自动回音室的不信任与厌恶，似乎和对AI的不喜欢一样，具有两党共识且强烈。其他国家已经开始通过模板立法，禁止在学校使用社交媒体，并制定更严格的年龄限制。我们应该效仿，并更进一步，将禁用自动个性化作为默认选项。

我也对第三点感兴趣，即给人们改进系统的余裕这一部分。这里的核心洞见是“努力让最容易做的事成为正确的事”，这总体上是一个很好的原则。很难不对我们的分区政策或土地税政策侧目而视，并想着也许这里有一些唾手可得的成果，一些可以取消的法规。幸运的是，我认为民主党人正在从“可负担性”方面的胜利中学习（这是一个例子，说明为选票优化可以 带来好的政治），并已开始推动减少对住房存量和小型企业的过度监管，等等。

但所有这些其实只是一个起点。它不会一夜之间阻止那种疯狂的经济激励去劫持每个人的注意力。它或许是改善我们“媒体饮食”的一步，进而可能为更强力的摩擦手段打开大门，比如更严格的竞选财务法、更好地教育人们如何识别真实内容、公正新闻报道的要求等等。所有这些都需要大量时间，而且会是一场非常艰难的战斗。我们还有能力进行这种级别的草根组织吗？

最后一个想法：AI 竞赛是过度优化的完美例子。构建 AI 的人一边literally大喊“阻止我们”，一边冲向创造一个未对齐的超级智能，因为所有这些公司都被锁定在这个恶性利润最大化循环中，没有一家真正能够停下来。即使 Dario 想停，他能停下 Anthropic 吗？他不会立刻被董事会替换掉吗？我认为我们尽快把这件事做对至关重要。事情发展的速度如此之快，在 ASI 到来之前我们没有太多时间，然后事情可能就会变成这样。

1

麦克纳马拉谬误与此密切相关。它以越战时期的国防部长罗伯特·麦克纳马拉命名，该谬误认为唯一重要的是可以衡量的东西，任何无法衡量的东西都不重要。

2

我内心有那种自由意志主义倾向。我经常说，我从未遇到过一个我喜欢的官僚机构。

3

当我在 2025 年 10 月第一次写这份草稿时，这个预测更令人印象深刻。

4

严格来说，是父母和社会教给我们的。我们会在下面再谈一点，但我认为你可以论证，对齐需要一个“童年”。

5

这里某处有个正则化/监管的双关语

6

包括一个绝对疯狂的“我会给你 100 万美元”“彩票”

7

这极其保守，有些人引用的是每票 100 美元。

8

还有，就像，DOGE 发生的一切。我无法相信还有人仍在争论说没有人因 USAID 关闭而受到伤害。

9

好吧，什么？“高地位社区”？？？这就像去健身房却生气他们不提供米其林星级食物。我们中似乎有一个人从根本上误解了捐赠誓言——或者，比如，慈善——的初衷

10

真心、真心为那些不住在城市、不在城市缴纳所得税、现在却要为其价值超过 500 万美元的度假房产纳税的人感到抱歉。

一些将不得不缴纳这项税的亿万富翁已经跺脚并威胁要将他们在这座城市运营的公司的工作岗位迁走。对我来说，那只是在暴露你自己。就像，哦，你真的确实认为，因为你的公司地位，你就在法律代码中值得个人利益。

11

严格来说，他们受益两次，因为 Alice 已经受益了。

12

免得有人以为我认为民主不好，我并没有。民主仍然是一个严格优于其他选项的优化函数，即使它并不完美。专制最终只会成为受一个人一时兴起支配的优化函数，这严格来说更糟。思考民主的一种方式是，民主过程对原本极不稳定的优化过程起到了正则化作用。

No posts