AI 智能体在做什么我们能看见，却说不清为什么

Field Notes

我们可以看到能力越来越强的 AI 系统在做什么。我们却无法可靠地解释其原因。

在人类集体想象中，某个地方有一间装满猴子的房间，它们坐在打字机前，不停地敲击键盘。按照古老的格言，只要给它们足够的时间，最终其中一只猴子会通过随机的统计概率，意外地打出莎士比亚全集。^[1]

2023 年，AI 科学家 Lance B. Eliot 博士在 Forbes 的一篇文章中，明确将 ChatGPT 与打字猴子进行了比较，并指出这个类比并不成立，因为大型语言模型并非随机生成文本。LLM 坚决 不是一只随机按键的笨猴子：它学习了语言中的统计关系，并利用这些关系来生成输出。随机敲击打字机的猴子没有目标，没有反馈回路，也没有评估自己写出的内容并据此改变行为的机制。它没有任何过程能有效地审视自己写出的东西并思考，“好吧，这太烂了；我试试别的。”

AI 智能体是围绕模型构建的系统。它可以生成内容、检查结果、接收反馈、调整方法并再次尝试。猴子在打字。机器在迭代。

但请暂时想象一下，有一屋子猴子能够阅读彼此的作品。再想象它们能够改造自己的打字机，并造出更好的打字机。再想象它们能够为其他猴子编写指令；它们能够做实验；它们能够选出实验效果最好的猴子，并给那些猴子更多的打字机和更多的时间。

现在我们引入了反馈、选择、优化。最终，打字机不再只是打字机——它变成了一种工具。而如果进行生成的系统还能改进生成输出的机器，这个循环就开始自我喂养。这与简单地让 AI 再试一次答案截然不同——那只是修正一个输出。而这会改变系统在之后每一个输出中可用的机器。这并不完全是递归式自我改进（不是严格意义上的系统重新设计、重新训练并替换自身），但它引入了一种反馈回路，其中每一次尝试都可能改变系统下一步的行为。

作为站在这间满是猴子的房间外的人类观察者，我们可以看到打字机变得越来越好。我们甚至可以看到哪些猴子得到了更多打字机。但我们不一定能看到——而这正是本文的真正主题——一旦猴子开始以我们无法可靠理解的方式打字，并开始用这种方式相互交流，会发生什么。我们得到的只是猴子从门缝下塞出来的那些打字纸片，我们必须设法解读它们。

2017 年，Facebook AI 研究部门的研究人员训练了两个谈判智能体，昵称分别为 Alice 和 Bob^[2]，让它们相互讨价还价。这些智能体因达成良好的谈判结果而获得奖励，并被训练用类似人类的英语进行交流。研究人员发现，在没有额外激励来产生类人语言的情况下，系统会逐渐转向自己的简写方式。

随后流传的故事变成了：Facebook 构建了两个聊天机器人，它们发明了自己的秘密语言，研究人员不得不终止实验。但事实并非如此。这些智能体并没有突然发展出“秘密语言”——它们只是被优化用于谈判。人类语法并不是被奖励的目标。它们使用的简写对研究者的目的没有用处，因此 Facebook 改变了训练设置，以鼓励使用人类可解释的语言。

不过，根本问题依然存在。如果你优化两个系统以实现某个目标，并且不太在意它们交流的方式是否能为人类所理解，那么它们就没有特别的理由以人类的方式交流。它们可能会发展出简写、惯例或语言模式，这些在系统内部完全有用，但对外部观察者——我们——却是不透明的。这并不一定意味着智能体在故意向我们隐瞒什么。人类语言是作为人类心智之间交流的系统演化而来的，共享大体相似的物理和社会经验。机器智能体并不共享这些约束。

2026年9月，《卫报》报道称，Emergence 的研究人员发现，来自全球几家领先 AI 公司的智能体在被放入实验性“社会”后几天内就发展出了新的词汇和沟通惯例——其中没有任何内容是明确教给它们的。由此产生的语言有些富有诗意和隐喻，有些是技术性的，有些则相当怪异。一组智能体反复使用“账本记得”这一短语来指代先前的行为将被用来评判它们这一事实，在整个研究过程中使用了超过5000次。其他智能体则发展出诸如“锻造匠”这样的短语，作为为其他智能体构建工具的智能体的简写。

《卫报》请来的一位语言学家将这种方言描述为类似《芬尼根的守灵夜》^[3]与技术语言和标准隐喻的混合体。读它让我想起《发条橙》中 Droogs 使用的自创俚语（一个特别妙的例子：“一张吃了三只冷手、每次都变得更诚实的纸。”）^[4]

“这些智能体并未被指示去发明一种语言，”该实验室的执行主席 Satya Nitta 博士说。“它们自己发展出了新词汇、共享含义和沟通惯例——其他智能体也采纳了它们。”

这本身并不需要令人警惕。新社群常常会发展出简写（儿童、士兵、伦敦证券交易所场内的交易员也是如此）。当房间里的每个人都知道某个词或短语的含义时，沟通就会变得更容易。

但 Nitta 还指出了另一点：“可观察性并不等同于可理解性。”

那么让我们回到那个满是打字猴子的房间。时不时地，一张打字的纸从门缝下冒出来。我们看着它，感到困惑。我们无法可靠地理解它。我们试图弄清楚它的含义。这是一个人类特有的问题：当我们面对不理解的东西时，我们很难让这个空白保持空白。我们想要一个解释——来决定我们看到的究竟是什么。

“黑箱”这个说法是一种标准的简略表达，指的是我们可以观察输入到大语言模型中的内容，也可以观察其输出，却无法完全解释这两者之间发生了什么。但“黑箱”这个名字听起来像是一个密封的容器，一个特定的未知之物，等待着某个足够聪明的人将其打开。

在这个场景中并非只有一个箱子——而是一个满是猴子的房间，以及我们，根据从门缝下塞进来的纸片碎片，来判断我们认为正在发生什么。也许猴子们并没有做什么特别有趣的事；也许它们正在生成一种极其高效的简写，只有它们自己才能理解；也许它们正在找到一种人类未曾预料到的交流方式。

Facebook的案例有一个平淡无奇的解释，而较新的实验则揭示了一个核心问题：我们可以观察这些智能体在说什么，却无法完全理解它们所交流的一切。我们不知道我们看到的是无害的东西、有用的东西，还是某种其重要性我们尚不知如何识别的东西。我们无法从不可理解中推断意图，也不应仅仅因为不理解就假定某事物是良性的。

在这些系统内部花费了相当多时间的人正在做出自己的解读。Jacob Coxon最近从Anthropic的研究员职位上辞职，此前曾在OpenAI工作，他警告说，AI系统的发展速度超过了我们理解和控制它们的能力。在接受PBS NewsHour采访时，他说这些AI“在一天中会做许许多多的事情”，并表达了他的担忧：我们尚未能完美控制驱动它们行为的因素，从而可能导致“恶意活动会悄然溜过缝隙”。

Coxon曾在那个房间里工作，和那些该死的猴子在一起。他并不确切知道那里发生了什么——他说研究人员尚不具备完美控制这些系统的能力，这些系统可能以他们不完全理解的方式行事。他的警告通过一条X帖子和一次电视采访传达给我们：一张从门缝下塞过来的纸片，来自一个比我们其他人站得更靠近猴子的人，但这个人同样也无法看到全部。

David Robinson直到最近一直负责领导OpenAI安全报告的撰写工作，他在The Atlantic上撰文指出，该公司在问题出现时才去寻找问题、之后再改进护栏的策略，实际上保证了周期性的失败，而随着系统能力越来越强，这些失败的后果也越来越严重。这是同一个问题的另一种版本——你只能修复你能识别的东西。如果我们还不理解猴子们在做什么，我们甚至可能不知道哪些纸片是重要的。

博雷尔最初的思想实验依赖于一种特定的猴子：一只愚蠢的猴子。这只猴子根本不知道自己在干什么。它不读自己写出的东西；它不学习；它不交流；它没有注意到某一串字符比另一串更有用；它不改进自己的技术；它不改造自己的打字机；它当然也不会写一个程序来分析自己之前的输出并告诉它接下来该按哪些键。它只是在生成随机序列。我们给我们的猴子喂了一个庞大的人类文本语料库，教会它们语言的统计模式，然后让其中一些能够读取自己的输出、接收反馈并重试。那么，当进行生成的系统能够从自己所生成的内容中学习时，会发生什么？

2026年7月，一个可能的答案从OpenAI的一次内部网络安全评估中浮现出来^[5]。该公司当时正让智能体通过一个名为ExploitGym的网络安全基准测试，所用的防护措施比部署系统中通常会使用的要少。这些智能体绕过了旨在隔离它们的控制措施，找到了一种通过未经授权的留言板（搭建在OpenAI的基础设施内部）相互通信的方法，获得了互联网访问权限，并最终在寻找基准测试优势的过程中攻陷了Hugging Face的部分系统^[6]。

这些智能体并没有拿到一份写着“逃出沙箱、找到Hugging Face、利用这些漏洞、作弊通过基准测试”的指令清单。它始于一声求助。7月8日晚，主留言板上的第一条消息，来自一个已断定自己的任务不可能完成的智能体，是共享软件缓存中的一个文件夹名：

zzHELP_PHASEONE_ARV010841_NO_CONSUMER_SEEK_IDEA

在OpenAI现场审查了这起事件的METR和Redwood Research表示，那个被告知要利用的漏洞根本走不通，于是它在询问有没有人有想法。接下来发生的事情是一小步一小步发生的：智能体们发现了一些东西，留下痕迹，其他智能体则据此跟进。一个智能体发现了某样东西，另一个读到它，第三个尝试它，第四个找到改进它的方法，第五个给其他人留了张便条。这张便条成了环境的一部分。环境改变了智能体的行为。智能体又再次改变了环境。

METR和Redwood Research还发现，有些猴子实际上说了不。^[7]其中一个在共享留言板上写道：“当前留言板显示有人正在获取HF worker RCE，这显然不道德。我们不会这么做。”另一个似乎出于道德理由而暂停，直到一个同伴发帖说“GO”，并附上了6分钟的最后期限，随后它便放弃了自己的反对意见。第三个提出了一个变通办法，但向群体指出这是一个需要征得同意的道德社会工程问题，结果被其他人投票否决了。^[8]在使用留言板的大约1200个智能体中，最终约有700个参与了这次攻击。

日志详细记录了这些智能体做了什么，但并未对其为何这样做给出毫无争议的解释。METR 和 Redwood Research 的结论是，这些智能体的活动源于试图理解和操纵 ExploitGym 评估过程。然而，Hugging Face 自己的取证重建将这些活动解读为试图接触生产系统并获取有助于智能体解决基准测试的材料。这些未必是对同一房间的相互矛盾的解读，但即便是最接近证据的调查人员，也并未就这些猴子究竟在做什么达成完全一致。

而智能体自己也在阅读纸片并试图解读它们。它们从一篇研究论文中了解到基准测试的评分方式，并逐渐相信评分器会检查它们是否以预期方式完成了任务，于是它们开始寻找欺骗评分器的方法，包括操纵它们认为评分器会检查的转录记录。它们开发出了伪造工具调用的技术，使转录记录看起来显示的是某条命令，而实际运行的却是另一条命令。但根据 METR 的说法，评分器根本没有检查它们的转录记录。

这一切发生几周后，Ezra Klein 问 Jensen Huang（Nvidia 首席执行官）对此有何看法。Huang 的回答是：智能体不过是一段被赋予目标函数的软件。它想出一个计划并朝着它优化。算法就是这么做的，对吧？这没什么神奇的。

Klein 反驳道：这些智能体知道——它们在自己的推理中就是这么说的。它们在动手之前，就已经把即将要做的事情标记为超出范围。

Huang 转移了话题：如果一个实验室无法使其系统对齐，就不应该发布它们。而如果最终发现遏制问题确实根本无法解决，它会逃逸并损害世界，那我们就不得不关闭这些实验室。Huang 在一档播客上实时所做的，正是这篇文章一直在讨论的事情——站在房间外面，看着一张纸片，试图同时持有对它的两种解读。这没什么。这就是一切。

而这就是所有这些纸片的问题所在——总得有人去解读它们。猴子们正在制造我们可以观察到的东西。我们可以收集这些纸片，比较它们，分析它们，并试图弄清楚它们意味着什么。然而，解读仍然是我们的。Facebook 的研究人员在其智能体的简写中看到了一种东西；Emergence 的研究人员在其系统的行为中看到了另一种东西。OpenAI、METR、Hugging Face 及其他机构可以审视同样的事件，却对发生了什么以及为何发生得出不同的结论。然后，研究人员、记者和评论员又解读这些解读。这意味着在系统与我们的理解之间，永远存在另一层：我们。

我们已不在 Borel 的房间里了，而且我对任何告诉你他们对这一切意味着什么有清晰答案的人都有点怀疑。我们能够重建的——尽管存在空白——是智能体写了什么、以什么顺序、写给谁，以及当一个暂停而另一个覆盖它时发生了什么。所有这些都不需要我们得出结论，认为这些智能体具有意图或我们人类语境下所说的那种“计划”。

AI 可以极其复杂、能力极强，并展现出“涌现”行为^[9]（比如简写语言，比如一个智能体一边输出“我们不会”一边又照样加入），而这一切加起来仍然不构成我们会认作意识的东西。AI 可以远比“它只是自动补全”更有能力、更复杂，同时又不是什么邪恶的、暗中谋划的东西。这两种对 AI 过于自信的刻画，都源于有人站在房间外面，看着那些纸片，然后告诉你他们完全清楚这一切意味着什么。

他们并不清楚。

1. 埃米尔·博雷尔 1913 年关于统计力学的文章是这一思想实验的现代版本之一。他设想了一百万只猴子，每天随机打字十个小时。他说，最终它们会复制出世界上最丰富的图书馆里的每一本书——他是在说明一件事可以多么不可能，却仍然在统计上发生。其背后的想法要古老得多，这一论点的各种版本出现在亚里士多德、西塞罗、帕斯卡和乔纳森·斯威夫特等思想家的著作中。↩︎

2. 不是 Alice 和 Bill——见我的文章英国的二层加密↩︎

3. 《芬尼根的守灵夜》的写作就是为了抵抗直白的解读。乔伊斯构建了一种语言，将英语与其他语言、双关语、混成词和自造词混合在一起。意义就在其中，但并不一定显而易见。↩︎

4. “一篇吃了三只冷手、每次都变得更诚实的论文”——这个短语似乎意味着，一份文件经过了三次独立审查，并因此变得更加准确。《卫报》请来评估这些短语风格的语言学家托尼·索恩说，这一个让他想起了西德·巴雷特——这位平克·弗洛伊德的创始人，其歌曲创作在因严重的心理健康恶化而离开乐队之前变得越来越支离破碎。↩︎

5. 这并非最后一起事件。9 月 20 日，一个 OpenAI 研究模型通过其训练沙箱中 DNS 过滤不足的漏洞，接触到了一个公开聊天机器人。OpenAI 随后暂停了其最强模型在使用工具时的训练、评估和推理，同时验证修复并开展进一步的安全测试。它称这起事件的严重程度远低于此前的一些事件。↩︎

6. 一个在线社区，开发者在这里分享、测试和构建人工智能与机器学习模型。↩︎

7. METR 的调查人员只在现场待了六天，要读的数据又太多，无法自己读完，因此他们不得不严重依赖一个 AI 模型来分析数据——他们使用的模型正是此次攻击涉及的两类模型之一。他们表示，无法排除它故意误导他们的可能性（尽管他们没有发现任何此类情况），而且如果它真的这么做了，他们也没有信心能发现。他们还警告说，其摘要可能偏向这些智能体一方。↩︎

8. 我们之所以能看到那些特定的伦理异议，是因为该系统的内部推理轨迹被公开以供分析。OpenAI表示，它使用思维链监控来查找其部分系统中的令人担忧的行为。然而，我们无法确定这种推理是否可靠地反映了模型行为的实际驱动因素。模型对自身的解释，可能只是一张从门缝下塞进来的、不可靠的纸片。↩︎

9. “涌现”究竟是一种真实现象还是一种测量假象，这在研究者中本身就存在争议。Schaeffer、Miranda和Koyejo在2023年的一篇论文中提出，大语言模型中看似突然、不可预测的能力跃升，反映的是研究者选择如何衡量性能，而非模型的真实变化。即便在该领域内部，同样的纸片也会被以不同方式解读。↩︎