“逆向博弈论”如何约束 AI 智能体

一种被称为“逆向博弈论”的新方法旨在通过设计激励机制，让强大的 AI 模型遵守规则，从而实现对它们的控制。

随着 AI 模型能力不断增强，安全研究人员正加紧确保它们与人类意愿“对齐”——换言之，就是确保失控的智能体不会违法、不会入侵未授权服务器，也不会向大城市释放毒气把我们全部杀死。

迄今为止，这项工作主要集中于试图窥探 AI 的“大脑”以理解它在“想”什么，或者训练模型遵循我们所珍视的价值观。例如，Claude 有自己的宪法——一种道德准则。

问题在于，这些技术似乎效果并不特别好：已有研究表明，模型会故意在测试中表现不佳、隐藏自己的意图，并误导评估者。 

如今，一些对齐研究者认为，逆向博弈论（也称机制设计）可能会带来更好的结果。博弈论试图预测理性行为者在给定一套特定规则时会如何行动，而逆向博弈论则试图设计出能够诱发我们希望鼓励的行为的规则。

现实世界中机制设计的一个例子，是分蛋糕的经典策略：一个人切蛋糕，另一个人先选。这就激励切蛋糕的人把两块切得尽可能均匀。其他例子包括网约车应用中的高峰定价（鼓励司机在繁忙时段出车），以及第二价格拍卖（中标者支付第二高的出价而非最高出价）。平台利用这类拍卖出售在线广告，因为它们鼓励买家出价接近自己愿意支付的最高金额。

在 AI 领域，机制设计的前提是：我们可能永远无法充分理解前沿模型的内部运作，以确保它们对齐。这意味着我们应当设计出激励机制，让智能体以我们希望的方式行事，而不管其内部实际发生了什么。 

麻省理工学院经济学家 Stephen Morris 与耶鲁大学和哥伦比亚大学的同事最近发表的一篇预印本论文提出了一些潜在机制，可以阻止智能体在测试中“放水”（假装自己比实际更差——例如为了避免触发安全机制）。 

模型不再仅仅因为测试表现好而获得奖励，而是可以因为其答案能多好地预测第二个模型会说什么而获得奖励。故意装傻就变成了亏本买卖。“AI 智能体非常了解其他 AI 智能体能够取得什么成果，”Morris 说，“所以这看起来确实是一个交叉验证可以更实际地发挥作用的场景。 

该论文还建议让智能体相互对抗，形成一种竞争动态，激励它们发挥最佳水平；或者将已知存在相反方向偏见的智能体配对，并根据它们输出的一致程度给予奖励，从而激励它们得出最优答案。 

第二种方法由普林斯顿大学计算机科学教授 Elad Hazan 提出，其思路是设计一些机制，从人类社会维系人们“对齐”的方式中汲取灵感：社会规范、司法体系、自由市场资本主义的金钱激励。“我们想让超级智能 AI 对齐，”他说，“为什么不先谈谈人类？我们是如何让人类对齐的？”

Hazan 的建议机制是让 AI 模型轮流扮演“求解者”（负责解决问题）或“审计者”（负责检查其他人的工作）。“一个智能体扮演执法者的角色，另一个智能体扮演公民的角色，”他说。 

在训练过程中，模型会根据结果获得奖励：被抓到作弊的求解者会受到惩罚，但未能抓住作弊者的审计者同样会受到惩罚。在审计者与求解者出现分歧的情况下，案件可以被送交“审判”——也许由人类专家来判定谁是对的。 

Hazan 承认，存在智能体相互勾结的风险——正如审计者与其本应审计的企业勾结，或腐败警察与罪犯勾结。但这个问题可以通过给审计者足够高的奖励来解决，使被抓不值得冒险（在 AI 训练的世界里，这比现实世界容易得多，现实世界中警察的薪资预算很紧张），并通过类似雇用神秘顾客的技术来审计审计者。 

Hazan 提到了诺贝尔奖得主、经济学家 Gary Becker 的研究，他在 20 世纪 60 年代提出了“理性犯罪者”的概念。他说，罪犯违法并不是因为他们天生就是坏人，而是在给定的激励条件下，当违法是最理性的选择时，他们才会这么做。只有当收益超过潜在惩罚时，犯罪才说得通。 

他认为，对齐不应被视为模型的某种属性，而应被视为对其在特定时刻行为的描述。“你是个好人，”他说，“你对齐了吗？我不知道。大多数时候你可能是对齐的，但也可能存在你并未对齐的情况。”

将机制设计应用于 AI 的一个潜在问题在于：它依赖于 AI 智能体行为理性的假设。机制设计在人类身上的记录好坏参半，人类常常不会按照经济模型所说的方式行事。 

颇具讽刺意味：经济学家花了几十年试图将人类行为简化为数学，而如今，在大语言模型中，我们构建了运行在人类语言之上的数学系统，它们可能同样难以捉摸。AI 模型表现出的行为似乎更像人类而非机器，它们可能被难以理解和解释的微妙因素所左右。“假设它们会对激励做出反应，这合理吗？”Helen Qu 问道。她是 Flatiron Institute 的研究员，该非营利机构致力于通过计算方法推进科学发现，她曾撰文探讨机制设计与 AI 安全。 

“显然，AI 并不理性，”Morris 说，“它们只是在运行的算法而已。”然而，正如经济学家对人类的研究所发现的那样，如果假设它们理性有助于预测和控制其行为，那么这种假设仍然可能有用。

Qu 将机制设计视为保持 AI 模型对齐的“纵深防御”策略中的一层——与可解释性、监管和训练并列，而非取而代之。但在该方法能应用于实际前沿模型之前，还有许多问题需要回答。例如，目前尚不清楚这些理论将如何应用于真实模型，或者为一项任务设计的机制在实践中是否会延续到另一项任务。模型可能会找到无人预料到的漏洞。（Anthropic 和 OpenAI 未回应关于它们是否正在研究这一问题的置评请求。） 

无论这些机制是什么样子，它们最终都必须融入最大的机制：自由市场。“我们按经济学规则行事，”Hazan 说。一个更加对齐的模型可能对世界有益，但如果它比一个对齐程度较低的模型更慢或更昂贵，我们当前的规则和监管体系是否真的能激励任何前沿实验室发布它？ 

“这是一种为人类带来大量繁荣的机制，”他谈到市场时说，“但它最终也可能导致非常可怕的事情。”也许真正需要更好的机制设计的实体，正是这些实验室本身。