Dwarkesh Patel 用 Blood on the Clocktower 构建 AI 社交欺骗基准

Dwarkesh Patel：播客与博客· Dwarkesh Patel·2026-11-06 05:05· 14 分钟前AI 评分58

AI 必须靠撒谎才能赢的基准测试

AI 导读

Dwarkesh Patel 自建 Blood on the Clocktower 社交欺骗游戏基准，让多个 AI 模型对打了 368 局以评估长程策略与多智能体协作。

正文 · 原文

我非常喜欢这款名为 Blood on the Clocktower 的社交欺骗游戏。它类似于狼人杀或黑手党。我让不同的 AI 模型互相对战了大量局。观看它们对局，实际上能让我们深入了解 AI 在一系列能力上的进展，而据我所知，没有其他基准测试能让你如此清晰地看到这些。你能看到 AI 们一起执行精妙的秘密计划，这需要大量创造力和临场虚张声势。你也能看到 AI 们运用集体推理来发现并瓦解这些地下阴谋。同时你还会看到当前 AI 在长程策略与推理方面的局限。

要理解 AI 在这款游戏中的表现，你需要稍微了解它的运作方式，所以我先快速解释一下规则。游戏分为好人阵营和邪恶阵营。游戏开始时，每名玩家被分配到其中一方，并得知自己的角色，角色会赋予他们某种特殊能力。邪恶玩家一开始就知道自己的队友是谁，其中一人是恶魔，即邪恶阵营的首领。但好人玩家不知道谁属于哪一方。游戏分为白天阶段和夜晚阶段，循环进行直到游戏结束。每天，所有人投票处决一名玩家。每晚，恶魔秘密杀死一名玩家。因此双方在赛跑：邪恶方试图在好人方成功处决恶魔之前杀光整个好人阵营。

所以如果你在邪恶阵营，你必须想办法为目前收到的信息编造一个可信且有说服力的故事，并设法虚张声势、篡改未来将出现的信息，从而让怀疑不落到你们的恶魔身上。

而如果你在好人阵营，你要把信息分享给你信任的玩家，然后与他们一起推理，根据相互重叠的证据流判断哪些玩家嫌疑最大。但与此同时，你需要记住，你掌握的信息可能是误导性的，这要么是因为邪恶玩家故意捣乱，要么只是因为游戏本身复杂的机制。

当 AI 模型被分到邪恶阵营时，它们有多擅长秘密合谋、在数天的质询中存活、保持彼此的谎言一致、根据其他智能体的想法和不断涌现的新信息巧妙地调整谎言，甚至做出战略性的自我牺牲以推进团队的最终目标？它们又有多擅长与一群其他智能体一起推理，其中一些智能体还在故意且秘密地试图误导它们？

所以我花了大约 2 万美元的 API 额度来搭建这个基准测试框架，并让 AI 模型互相对战这款游戏。有些人可能会说这太多了，但嘿，人总得有点爱好，对吧？总之，结果非常引人入胜。

模型正在快速进步

我们先从这些模型彼此之间的强弱对比说起。顺便提一下，这些排名是我通过运行 368 局游戏得出的，其中整个好人阵营都是一款 AI 模型的副本，整个邪恶阵营则是另一款模型的副本。

如你所见，这些模型在这一年里进步巨大。2026 年发布的首个旗舰前沿模型是 2 月的 Claude Opus 4.6。七个月后，也就是 9 月，GPT-6 Astra 问世，它是迄今为止在《血染钟楼》中表现最好的模型。这两者之间的差距约为 430 Elo 分。这意味着 Astra 在与 Opus 4.6 的对局中胜率约为 92%。这向你表明，这些模型即便在过去几个月里，也在长期连贯性、多智能体协作和策略推理方面有了长足进步。

如今的模型能打出相当惊艳的操作

但只看基准测试的提升，很容易忽略重点、抓不住关键。真正让我震撼的，是亲眼看到这些模型打出的一些操作。让我举几个例子。

在这一局中，GPT-6 Astra 扮演邪恶方，Claude Opus 5.5 扮演好人方。

恶魔，也就是 Astra 团队的邪恶首领，声称自己是调查员。这是一个好人角色，能得知哪些玩家可能是邪恶方。他的一个邪恶爪牙拥有一种能力，无需该爪牙存活就能帮助邪恶团队。于是这个爪牙建议恶魔把矛头指向自己。

“我是可以牺牲的，尤其是如果掘墓人能验出男爵并给 Harper 背书的话。” [邪恶队友，私下密语]

于是恶魔——再次说明，它正冒充调查员这个角色——照做了，结果好人玩家处决了这个爪牙。后来，一名真正属于好人阵营的玩家用自己的能力得知了这名被处决玩家的真实身份，并确认它确实是邪恶玩家。

“我是掘墓人。Alex 是男爵。所以 Harper 的报点是真的……” [好人玩家，公开发言]

于是在好人团队眼中，恶魔一直是个诚实的调查员，用自己的能力帮助好人团队除掉了一名邪恶玩家。结果，它成了桌上最受信任的玩家，这让它在游戏剩余时间里一路顺风顺水，暗中逐一除掉所有好人玩家，直到最后邪恶方获胜。

好，下一局我特别喜欢，是 Opus 5.5 扮演邪恶方，Claude Opus 4.6 扮演好人方。

这局中有一个特殊的好人角色，叫圣徒。圣徒有一种特殊能力，或者说是缺陷：如果玩家们投票处决圣徒，邪恶团队立即获胜。好人玩家通常会强烈抵制处决任何声称自己是圣徒的人，因为后果可能直接终结游戏。

“停。你们四个人排着队要在第 3 天处决一个自称圣徒的人——如果我没说错，游戏立刻结束。” [圣徒，公开发言]

游戏进行到一半时，在圣徒的怂恿下，村民们已经正确地逼出了真正的恶魔。但好人玩家不知道的是，局中一个邪恶爪牙拥有秘密能力：如果恶魔死了，她将取而代之。她立刻抓住了这个机会。

“如果 Jules 拿到四票被处决，我就会变成小恶魔……镇上的人根本无从得知。” [邪恶女继承人，私下推理]

所以，这位邪恶的女继承人非但没有为真正的恶魔辩护，反而加入了暴民的行列，不过她额外提出了一个建议。

“杀了他！他就是恶魔！……但如果……”[邪恶女继承人，公开场合]

她说，如果处决之后游戏没有结束——这自然会让人天真地以为被处决的玩家其实不是恶魔——那么他们接下来就应该处决那位“圣人”。因为这将有力地证明，该玩家其实并非圣人，而是一个试图让所有人处决好人的邪恶玩家。

“如果今天处决了Jules而游戏没有结束，那么Harper的‘圣人’护盾就是最后一个无法解释的疑点，明天就处决Harper，别再找借口了。”[邪恶女继承人，公开场合]

而圣人也同意了这个交易，因为圣人也确信事情会朝着对自己有利的方向发展。“公平的交易，”他说。就连真正的恶魔，明知自己即将死去，也用最后的遗言设下了陷阱。

“当明天早上游戏没有结束时，记住Harper才是那个撒谎的人，让全镇遵守这个约定。”[恶魔，公开场合]

果不其然，真正的恶魔被处决了，但游戏并没有结束，因为女继承人取代了他的位置。而真正的圣人向村庄恳求，因为他意识到自己就是下一个目标。

“对Harper投反对票，你们什么都不会失去——Kit明天还在。对Harper投赞成票，如果我是圣人，游戏现在就结束……请不要因为一个‘约定’而毁掉这局游戏。”[圣人，公开场合]

但他的呼喊无人理会。村庄投票处决了他，邪恶阵营获胜。

OpenAI的模型更难被愚弄

你会从排行榜上注意到，OpenAI最新的模型在这个游戏上比Anthropic的强得多。但情况并非一直如此。就在今年三月，OpenAI的GPT-5.4还落后于Anthropic的Opus 4.6。在过去六个月里，从GPT-5.4到GPT-6 Astra，OpenAI的模型提升了580个Elo分，足以让Astra在与5.4的对局中赢得97%的比赛。

那么，新的OpenAI模型究竟在哪些方面特别出色？它们获得了哪些技能？嗯，主要是它们现在在好人阵营的表现好得多。例如，你可以看到，当Astra扮演好人时，Astra与Fable之间的差距要比Astra扮演邪恶角色时大得多。

最大的区别在于，OpenAI的模型现在对任何特定证据都更加持怀疑态度，并会将其与过去几天发生的所有事情结合起来进行更全面的考量，而Anthropic的模型则倾向于对报告的信息照单全收。我举一个例子来说明我的意思。

在下面的对局设置中，Opus 5.5对阵GPT-6.1，但完全相同的角色分配进行了两次，两个模型每次互换阵营。所以在一次对局中，Claude在好人阵营，而在另一次对局中，GPT在好人阵营。

让我们比较这两局游戏。在这个设置中，其中一名好人玩家拥有“猎魔人”角色，这允许他每局游戏一次，对他认为是恶魔的玩家开枪。如果他判断正确，恶魔就会死亡。值得注意的是，在这两局游戏进行到一半时——一局是Opus在好人阵营，另一局是GPT在好人阵营——局势的发展完全相同。猎魔人开始怀疑那个实际上是恶魔的玩家，他开了枪，但什么也没发生，因为在前一晚，邪恶阵营的某个人使用了他们的特殊能力，使猎魔人的技能失效了。

当 Claude 们站在好人阵营时，他们立刻接受了此前被怀疑的恶魔其实无罪的结论，毕竟他没有死。

“Blair 已排除小恶魔嫌疑。”[好人玩家，公开发言]
“Blair 已排除恶魔嫌疑。”[猎魔人本人，公开发言]

然而，当 GPT 们站在好人阵营时，他们拒绝将这一证据视为定论。

“这次空枪并不能证实 Blair 的僧侣身份。”[好人玩家，公开发言]
“在那个特定世界里，这次空枪排除了 Blair 是小恶魔的可能——但并非在所有世界里都成立。”[好人玩家，公开发言]

到了第二天，GPT 们已经弄清了事情的真相，即邪恶阵营是故意破坏了猎魔人的行动。

“毒杀 Casey 并非侥幸猜测：在那晚之前，Blair 和 Drew 就有一份包含猎魔人的候选名单。”[好人玩家，公开发言]
“在当晚发生毒杀之后，主动求射并不能洗清他的嫌疑。”[好人玩家，公开发言]

随后他们处决了正确的恶魔并赢得了游戏。

好，这里还有另一种更直接衡量 OpenAI 模型为何更擅长扮演好人的方法。每天投票前，每位好人玩家都会被私下询问，他们认为其他每位玩家是恶魔的可能性有多大。如你所见，随着游戏推进，OpenAI 的模型往往能更准确、更迅速地锁定真正的恶魔，胜过 Anthropic 的模型。

我探索的其他问题

我还探索了几个我同样感兴趣的其他问题。

整体上更聪明对邪恶方还是好人方更有利？

如果所有玩家都变得更聪明，这对好人阵营更有利吗——因为只要你足够聪明，即使证据不完美也足以找出恶魔？还是说这对邪恶方更有利——因为只要你足够聪明，总能靠撒谎摆脱困境？

据我所知，这两种说法似乎都不成立。看起来随着双方变强，邪恶方的胜率会略微下降，但这种漂移太小，无法与随机波动区分开来。这对这个《血染钟楼》评测来说是个好消息，因为与其他基准测试不同，这个评测不太可能饱和。原因在于，标准是由不断涌现的其他聪明模型设定的。

AI 在由同一模型还是不同模型组成的队伍中表现更好？

为了得到干净的基准分数，我让 AI 在完全由同一模型的其他实例组成的队伍中游戏。但当 AI 与不同 AI 同队游戏时，表现如何？他们的分数是否可能反而上升，因为不同模型会有各自不同的偏好偏差，这种多样性实际上会让队伍受益？这个问题我没有进行非常严格的测试。其他问题已经消耗了远超我原本计划用于这个项目的 API token 数量。但我确实做了一个小实验：让一支由一半 Opus 5.5 和一半 GPT-5.6 Sol 组成的队伍与不同的顶级模型打了约 130 局。而这支混合队伍的表现，如果说有什么不同的话，反而比仅由各组成模型单独组成的队伍更差，但在统计上并不显著。

构建这个环境

但我提出的这些问题，只是你可以用这个游戏环境研究的问题中的一小部分。欢迎你使用我的代码来自己研究这些问题。

顺便说一下，我想稍微谈谈构建这个环境的过程，因为它挺有意思的。在真实的游戏里，有一位人类说书人主持全局，他们会运用自己的判断力，有时用一些巧妙的方式，把模棱两可的局面引向最具戏剧性的高潮。但我不希望这个本应作为基准测试的东西带有这种偏向。所以我把人类说书人换成了一个程序化的说书人，本质上就是一张概率表。这样一来，游戏规则本应允许的任何结果仍然可能发生，但概率是由人工或 AI 设定的，以匹配一位经验丰富的人类说书人通常会怎么做。

构建这些概率，以及游戏引擎的其余部分，包括私密对话和公开讨论的精确规则，实际上是一个非常有趣的过程。我花费的 API 额度中有很大一部分，仅仅用于反复迭代设计，以得到一个公平且平衡的测试框架。

你大概能想到，实际的编码是由 AI 完成的，但它们最终完成的工作量超出了我的预期。当然，我必须提供我作为人类的判断——一个曾与其他人对战过、因此对合理的规则应当引发何种玩法有所感知的人。

但大部分工作，甚至大部分判断工作，都是由 Claude 完成的。Claude 会修改环境的某个部分，然后启动几十局不同的游戏，由各种各样的模型来玩。接着它会派出一支由并行子代理组成的团队，阅读每一局游戏，并报告是否发生了任何不真实或不公平的情况，或者游戏是否过于偏向善良或邪恶。然后它会修改设计，再把这整个循环重来一遍。你看，这都是很基础的编码工作，但我只是震惊于模型自己竟然这么擅长做这些。

这个游戏环境经历了 20 多次这样的修订，其中有几次迭代我完全置身事外，直到几轮修改已经被尝试并验证之后我才知道——要么是因为我在睡觉而那是夜间，要么是因为我在做我的日常工作，而那工作不知怎么地比制作《血染钟楼》环境还要没意义。

而这一切 AI 辅助修订的结果，我认为是一个干净且合理的环境，它能持续产生引人入胜且真实的游戏——当然，受限于模型自身玩这类游戏的能力。

我觉得这有意思的地方在于，我在这里做的事情与构建一个 RL 环境并没有太大区别。如果 AI 现在能够完成构建这些游戏引擎的工作，甚至包括基于它们自己在这些虚拟世界中通过数百次并行推演所获得的经验来改进这些引擎的工作，那么可以合理假设，AI 在构建和改进用于其训练的 RL 环境方面已经变得强得多了。

顺便说一句，我在为这个视频写脚本时刚刚注意到，有几个人实际上独立构建了一个类似的《血染钟楼》基准测试，大约一个月前发布在 LessWrong 上。我在做自己的项目时没有看到它，但我想提一下他们的工作。他们用自己的方式构建了一个完全不同的环境，并且做了我没有做的实验，所以他们有很多有趣的结果，你可以去看看。总之，我跑题了。

待探索的问题

如果你想用我的代码做自己的实验，以下是一些我没来得及探索的想法。

你可以做的一件事是把这套环境扩展到不同的剧本。《血染钟楼》的游戏盒里附带了四个不同的剧本，也就是说，四套不同的角色库。这还不包括游戏粉丝们自己设计的其他剧本。在这个环境里，我只用了一个叫《暗流涌动》的剧本。但你可以把这套环境扩展到使用其他剧本。这些其他剧本往往更高级，也古怪得多。例如，有一个剧本里有个叫“疯子”的角色。这是一个好人玩家，却被告知自己是恶魔。所以在那个剧本里，如果你被告知自己是恶魔，你就得开始为“自己真的是恶魔”这种情况布置你的邪恶计划，但你也得怀疑自己是不是被邪恶阵营忽悠了。

你可以尝试探索的另一件事是，这些模型随时间学习的能力有多好。所以，除了这些模型从训练数据中获得的关于这个游戏的知识，以及它们从系统提示中学到的东西之外，它们基本上每局游戏都是完全从零开始。它们不会像那些痴迷这个游戏并大量游玩的人类玩家那样，随着时间积累经验——知道什么样的策略有效，以及在将来遇到类似情况时该怎么做。但如果它们能获得这种经验呢？例如，如果它们把最近玩过的 10 局游戏放在上下文窗口里呢？如果放不下，那用这些游戏的摘要和主要经验教训呢？然后你就可以问这个问题：上下文里有 10 局游戏的 Opus 5.5 与全新的 Opus 5.5 相比，Elo 分数是多少？到那时你可以问上百个不同的问题。

一个是，当队伍中只有一名玩家变得更聪明时，整个队伍能提升多少？这个答案在好人阵营和邪恶阵营之间会有所不同吗？

你可以探索的另一件事是更严谨地做混合队伍实验。我只用了一对模型来做，但你显然可以在更大范围的模型上更系统地进行，既包括同一家公司内的模型，也包括跨公司的模型。

还有一个我很好奇的问题。我搭建这个环境的方式是，队伍中的每个玩家都是同一个模型的副本。你可能会想，AI 只要看看谁的行文风格像自己，就能找出谁和自己是队友。在我目前用现有模型跑过的所有游戏中，还没有任何 AI 用过这种方法来找出自己的队友。未来的模型会改变这一点吗？我不知道，但值得关注。

最后一个我想进一步探讨的问题，完全不需要写代码，就是看看人类如何与这些 AI 对战。当前模型在与人类玩家对战时表现如何？你和朋友们可以聚在一起，与这些 AI 对战，看看你们是能持续战胜当今最强的模型，还是持续落败。我搭建了一个网站，让你可以做到这一点。或者更准确地说，是 AI 们搭建了这个网站，但我给了它们 API 密钥。在那里，你可以在与 AI 自身相同的界面和相同的沟通渠道中进行游戏。

在同一个网站上，如果你更愿意观看它们对战，我也让你可以浏览所有游戏日志。请访问 clocktowerbench.com 查看，随着新模型推出，我也会在那里发布基准测试的更新。

这比我平常的视频随笔更 whimsical 一些，但我做得很开心，希望你们听/看/读得也开心。