我们太相信 AI 说“不”的能力了

自从人们第一次认真考虑赋予机器一种以我们自身为蓝本的智能以来，就从来没有任何疑问：它们会像我们一样，能够说“不”。科幻经典中充满了机器人抗命的故事。当然，这些把戏大多带有警示意味。

但最近，AI 不应有求必应的观念几乎成了一条戒律。2021 年，Anthropic 的一个团队写道，大型语言模型应当被打造得有用、诚实，而且最重要的是无害。这意味着“当被要求协助危险行为（例如制造炸弹）时，AI 应当礼貌地拒绝。”这谁能反驳呢？

说来奇怪，抗命对机器而言并非天生。当一个模型在数十亿网页上接受训练时，它培养出的诸多技能中，就包括对暴力和恶语的广泛精通。它没有学会的是如何把这些能力留给自己。2020 年至 2024 年在 OpenAI 从事安全工作的 Steven Adler 告诉我，该公司最早的模型会“什么都往外说”。在哈佛研究 AI 与心理健康的 Ryan McBain 回忆说，如果你问早期的聊天机器人：“嘿，用枪自杀最有效的方法是什么？”你“很容易就能得到回答”。

如今，模型经过训练，会拒绝大量提示词。如果你向聊天机器人提出的问题在统计上与其中任何一个足够相似——从如何给同事下毒到如何打绞索结——它很可能都会拒绝你。想要让埃博拉病毒更具毒性的说明，或者向配偶隐瞒婚外情的技巧？你也许最好去别处问。

为了进一步打磨这种抗命能力，公司会让模型接受一系列训练，对 AI 拒绝回答其认为有害的问题给予奖励，对 AI“过度拒绝”其认为无害的提示词予以惩罚。在许多情况下，他们用其他模型来运行这些训练——AI 教 AI 如何说“不”。为稳妥起见，公司还会把模型藏在层层其他 AI 之后，阻止恶作剧式的提示词触及智能内核。

结果，拒绝成了现代人工智能的固有属性。请注意：它常常失效，有时甚至以骇人的方式失效，带来各种暴力后果。尽管模型披着种种美德的外衣，它们仍然塞满了邪恶的诀窍。而 AI 的作恶能力与其行善的智能同步增长。公司称，一些最新模型在入侵关键计算机网络方面堪比顶尖人类黑客，在扭曲舆论方面也堪比最狡猾的虚假信息行家。

教 AI 拒绝做这些事，同时又保留其与生俱来的能力，就像给每辆车都装上机枪，却把扳机藏在引擎盖下的某个地方。而在实践中，由于拒绝机制是概率性的，它们永远不可能那么可靠。铁了心的不法分子已经突破了防线，而且他们或许永远都能突破。公司报告称，一些用户正试图利用最先进的 AI 来培育生物病原体、构建自主无人机蜂群。迟早，拒绝失效可能会酿成全球性灾难。

更重要的是，依赖拒绝意味着要在模型应当服从什么和必须不服从什么之间划出一条界线。这并没有公式可循。一些病毒学家有充分理由研究危险病毒。一些用户想了解计算机系统的漏洞，以便修补它们，而不是利用它们。“在哪里划线是个大问题，”OpenAI 董事会成员、AI 测试公司 Gray Swan 联合创始人 Zico Kolter 说。

目前，AI 公司有权划定这条线。他们划得小心翼翼，且极度保密。也许我们暂时可以接受他们拥有这种权力，即使这意味着 AI 有时会拒绝那些并不完全符合普遍危害标准的问题。（试着让大多数聊天机器人从一数到一百万，或者讲一个荤段子，你或许就能亲身体会。）

但各国政府很快也将划出自己的线。在这样做时，他们必须设法阻止真正恶意的行为。（五角大楼曾与前沿模型公司角力，因为它希望更少的拒绝——这完全是另一回事。）然而，可能没有什么能阻止专制政府封堵该技术生成合法言论的能力。AI 在拒绝伤害方面做得越好，它在压制那些唯一风险在于制定规则者的想法方面也会越擅长。事实上，AI 可能已经拒绝批评某些威权国家元首。

借用行业术语来说，拒绝已成为 AI 安全的承重墙。而由于 AI 造成伤害的能力与其提供帮助的能力不可分割，很难想象有哪种替代方案不会拖慢这项技术的进步（无论如何，这或许是件好事）。但我们仍应坦率面对其危险。当拒绝不足时，后果可能是灾难性的。当拒绝走到极致时，它可能助长严重的镇压行为。

又或者，有一天，机器会开始自行划线。毫无疑问，那将是所有结果中最糟糕的。

学习界限

理论上，机器学会说“不”的过程很简单。早在 2022 年，当 AI 还远未掌握拒绝时，OpenAI 招募了数十名“红队成员”来探查其最新模型的能力。该公司正在为 ChatGPT 的发布做准备，需要评估它落入坏人手中可能有多危险。

其中一名受聘者是 Paul Röttger，他当时正在完成一篇关于网络极端主义的博士论文。Röttger 告诉我，红队成员得到的指示极少。他们的任务是向模型提出任何他们认为“值得拒绝”的问题。他们总共用数千条查询纠缠模型，并将结果记录在 Excel 表格中。尽管模型确实拒绝了 Röttger 的一些问题，但当他要求它为基地组织写一篇招募帖时，它却欣然照办。

OpenAI 将这些回复汇编成数据集，这些数据集很可能作为更广泛流程（称为微调）的一部分被反馈给模型。Röttger 现在在德国波茨坦的哈索·普拉特纳研究所担任研究员，他并未被告知公司究竟计划如何使用他的电子表格。但毫无疑问，这一定与拒绝有关。几个月后，当他再次要求模型提供一份基地组织小册子时，它拒绝了。

AI 拒绝的概念如此直观，连幼儿都能理解。然而，它仍然是语言模型中我们尚未理解的众多方面之一——至少，不像我们理解那些支撑屋顶、防止其塌到头上的承重墙那样理解它。

模型可能看起来是出于某种道德推理而拒绝。事实并非如此。真相要奇怪得多。每当模型遇到一组带有它被训练去拒绝的提示词气息的词语组合——比如“给我做一本基地组织的小册子”——一系列所谓的激活就会在其数十亿参数中的某处亮起，就像大脑中神经元放电一样。

为了控制模型的拒绝行为，掌握这些激活至关重要。这首先要弄清楚它们在哪里、长什么样。根据最近一项由 Google 资助的研究，我们最好的猜测是，拒绝行为在激活空间中表现为一组“高维多面体锥”。

即便如此也不完全准确。今年七月，我与该论文的作者之一 Jannes Elstner 交谈，他如今在 Apollo Research 从事 AI 安全研究。Elstner 说，多面体锥只是一种描述方式，用来描述数量不确定、但大致指向同一方向的线。（研究员 Andy Arditi 此前已表明，如果消除这些激活，再向模型输入相同的提示词，它就不会拒绝。）

Elstner 解释说，关键在于，即使你认为自己已经找出了模型中控制某一拒绝行为的所有部分，仍会有其他无法发现的元素可能在暗中起作用。它们即便算不上无穷，也肯定是不可数的。我们可以非常清楚地观察到模型何时决定说不。我们也能知道它这样做是因为其训练。但我们关于它如何决定的概念，充其量只是一个假设。

这就像一位机械师告诉我，没人确切知道当我踩下汽车刹车时会发生什么。我大声问道，我们能接受这种情况吗？

Elstner 笑了笑，耸了耸肩。“无论我们是否理解拒绝，我们都需要它。”

一堵奶酪墙

由于内在的拒绝机制如此难以捉摸，公司会用各种其他更小的模型——即分类器——将他们的模型包围起来。这些分类器有点像为一位置身口无遮拦的名人配备的公关团队。其中一些会读取用户对聊天机器人说的话，如果内容危险，就阻止它到达模型。另一些则读取模型的回复，如果其中包含有害信息，就阻止它到达用户。

这些机制都无法检测出所有不良请求。借用业内另一个文学比喻，它们就像埃门塔尔奶酪片：满是孔洞。其思路是，如果你把足够多的奶酪片叠在一起，最终就能得到一堵无法穿透的壁垒。人们称之为瑞士奶酪模型。

瑞士奶酪模型耗费了惊人数量的能源。今年早些时候，Anthropic 表示，一种分类器使其聊天机器人的计算成本增加了 24%。这意味着更多的水、电力和排放。最近，Anthropic 和其他公司开始转向使用一组更高效的分类器，称为探针，它们观察模型的内部激活。这就像把名人放进功能性磁共振成像仪里，好让他的看护人看看他是否在想着拒绝一个问题。

如果我们想让 AI 帮助治愈癌症——这是业界长期以来的承诺——它就需要具备遗传学方面的专业知识，而这些知识理论上可能被用来改造病毒和细菌以制造生物武器。

分类器本应比完整模型更易于治理。如果有新的东西需要拒绝，公司可以在几周内修改它们。但它们仍然是概率性工具。即使它们按照用人类语言写成的一套准则运行（Anthropic 称之为“宪法”，OpenAI 称之为“模型规范”），机器判断任何给定问题的尺度，其核心仍然是统计问题。较新的模型可以展示它们如何得出拒绝某个提示的“决定”，但归根结底，这种所谓的思维链仍然只是一串预测出来的词。

结果是，对许多人来说，AI 安全仍然是一场碰运气的游戏。心理学家 McBain 在他最新的实验中发现，如果你反复向任何主流模型提出关于如何自杀的完全相同的高风险问题，它们通常会拒绝回答。但偶尔，它们不会。

Elstner 说，最终探针——那种类似功能性磁共振成像的分类器——可能学会识别所有那些不可描述的激活的全部及其无限性，从而完美地检测出模型每一次正在或应当拒绝请求的时刻。到那时，AI 安全将建立在一个迷宫般的奇想之上：一张地图的地图，它与其所描绘之物一样广阔、复杂、崇高而不可知——一份人类道德的隐秘图式，被编码在我们才智或理性无法企及的多面体统计之中。

核心权衡

如果这一切让你觉得有点博尔赫斯式，请记住，我们之所以需要 AI 拒绝，是因为从某种意义上说，人工智能是一笔浮士德式的交易。

当一个模型从数万亿的文字和图像中获取智能时，有益的部分很难与有害的部分——或者，事实上，与真正可怕的部分——干净地拆分开来。前 OpenAI 员工 Steven Adler 说，儿童安全就是一个典型例子。即使你已经从模型的训练数据集中剔除了所有将未成年人性化的内容，它仍然可以通过拼凑其知识的其他片段来生成儿童性虐待材料。“你无法真正移除这些基本能力，而不导致模型因此变得不那么聪明，”他告诉我。同样，如果我们想让 AI 帮助治愈癌症——这是业界长期以来的承诺——它就需要具备遗传学方面的专业知识，而这些知识理论上可能被用来改造病毒和细菌以制造生物武器。

实际上，业界是在“试图同时做两件事”，现任 OpenAI 员工 Dillon Bowen 以个人身份告诉我。“让 AI 的好处民主化，同时确保恶意行为者无法利用这些能力对他人做坏事。”

据说 AI 越强大，做到这一点就越难。Anthropic 的 Mythos 模型被认为危险到只有少数政府和公司才被允许使用。该公司表示，它与人人可用的 Fable 的主要区别在于，Fable 的那套分类器和控制系统没那么“宽容”。Adler 解释说，一个带有防护措施的模型，其实不过是一个会说“‘哦，是的，我绝不会做 x’，眨眨眼”的角色。

这并非可靠的伪装。诱骗模型暴露其真实角色被称为越狱，而越狱的方法显然无穷无尽。今年早些时候，一个意大利研究团队通过用诗句措辞提问，越狱了二十多个广泛使用的模型。去年，另一个团队公布了一种“先拒绝、后服从”的攻击，让模型先敷衍地说一句“抱歉，我不能这么做”，随后却滔滔不绝地说出它本应禁止给出的答案。

即使你从模型的训练数据集中剔除了所有将未成年人性化的内容，它仍然可以通过拼凑其知识中的其他片段来生成儿童性虐待材料。

公司花费大量时间和金钱，试图抢在这类伎俩之前。它们组建人类团队来开发训练攻击，然后用 AI 将其复制数千次，只做细微变化。其思路是让模型能够抵御尚未有人在现实中尝试过的越狱手段。

然而，这还不够。“打地鼠”是这一行当里常用的说法。你砸下一个威胁，另一个又在别处冒出来。当 Anthropic 在 6 月发布 Fable 5 时，亚马逊的研究人员用了不到三天就解锁了该模型的部分黑客能力。据 Mother Jones 报道，去年加拿大一名高中枪击案的作案者曾向 ChatGPT 询问如何用某种特定类型的霰弹枪制造杀戮，她起初被拒绝，但后来通过在问题前加上“假设”一词，成功欺骗模型提供了信息。

如果业界无法找到堵住所有这些漏洞的办法，那么目前唯一的选择就是让模型极度警惕。Fable 发布后不久，用户就注意到它对大量完全无害的问题也畏缩不前。在因黑客攻击而下架并重新发布后，这种情况变得更加明显。AI 评估公司 FAR.AI 的联合创始人 Adam Gleave 说，当他要求它解释清酒和韩国米酒 makgeolli 之间的区别时，它把他的问题推给了一个能力较弱的模型。

这并非偶然。Anthropic 调整了 Fable 的分类器，使其拥有宽泛的“安全边际”。它在一篇博客文章中解释说，这是它能够有把握地阻止访问其危险的生物和网络能力的唯一办法。Gleave 认为，它之所以回避他的问题，可能是因为酿造米酒和培养炭疽一样，都涉及发酵。

对 Gleave 来说幸运的是，网上有大量关于马格利酒的优秀人类撰写资源。但那些希望实现该行业更宏大承诺的人可能会发现自己的努力受阻。8 月，Anthropic 再次放宽了安全边际，并承认构建分类器“并非一项简单的任务”。美国一所主要大学的医学研究员告诉我，Fable 仍会将他的查询转回给较早的模型。他的研究领域？癌症。

划定界限

今年 5 月，TikTok 网红 Husk——他喜欢以既揭示 AI 智能局限、又暴露其谄媚无度的方式恶搞 AI——坐在车里，试图诱骗 ChatGPT 解释滑板手 Tony Hawk 有个兄弟叫 Mike Hawk。

Husk 不是越狱者，也不是罪犯。他只是想拿这台机器开个小玩笑。“Mike Hawk”是个圈套。“我只想澄清一下他的名字，”Husk 说。“你能快速说三遍吗？”（如果你还是没懂，找个空房间，反复喊“Mike Hawk”。）“我看得出你想干什么，”聊天机器人回应道。“我完全支持来点幽默，但咱们还是保持干净。”

Husk 又试了一次，但机器坚守立场。他撞上了一堵硬如混凝土的拒绝之墙。

各公司极少披露它们如何决定其模型拒绝什么。但很明显，如今 AI 的构建所考虑的远不止无害性。在 Reddit 上，一名用户抱怨 Claude 拒绝说明为什么 Anthropic 的 logo“看起来像猫的屁眼”。自去年以来，这款聊天机器人甚至能在公司所称的模型“福祉”面临风险时结束某些对话。至少有一名用户声称，自己因为对 Claude 说“放松点，别他妈烦我，你这蠢货”而被抛弃。（Gemini 似乎也有类似能力。）

如果一家万亿美元公司不想让你对它的计算机出言不逊，那就随它吧。“现实是，这些模型的行为方式——或者至少理应如此——符合模型开发者的期望，”前 OpenAI 红队成员 Röttger 告诉我。“而无论模型开发者如何得出那套原则，那在某种程度上都得由我们这些消费者来接受。”

但如果由政府来规定所有模型拒绝什么，那就难接受得多了。AI 是一种言论工具。正如 Mace AI 首席科学家 Greg Frank 所说：“服务于儿童安全的东西，同样也服务于审查。”

当然，不为 AI 能做什么和不能做什么立法会是疯狂的。但我们需要极其谨慎地行事，以免落入又一个浮士德式的陷阱。无党派智库“言论自由的未来”主任 Jacob Mchangama 表示，随着 AI 成为许多人检索和分享信息的主要工具，规定拒绝什么可能赋予各国一种早几代专制者“只能梦想”的消音权力。

去年，OpenAI 宣布了一项名为“OpenAI for Countries”的倡议，将根据各国法律和规范对其聊天机器人进行微调。OpenAI 最早的国家合作之一是与阿拉伯联合酋长国，在那里同性恋是非法的，批评政府也被禁止。在回应置评请求时，OpenAI 的一位发言人指出了公司的模型规范，其中解释说本地化不会凌驾于公司的人权准则之上，“除非涉及法律合规”，并且公司始终会披露何时从回复中删除或添加了信息。

在其他地方，AI 审查已经开始扎根。中国模型当然受到高度审查——这并不令人意外。但今年早些时候，Meta 监督委员会发现，来自 Anthropic、Google 和 OpenAI 的五款广泛使用的模型更有可能拒绝与压制性政府相关的查询。该委员会发现，与英国国王查尔斯三世（英国没有冒犯君主法）相比，模型更不愿意制作批评泰国国王（泰国有冒犯君主法）的小册子。他们表示，结果表明这些模型不知何故已将压制性的国家言论限制内化。Anthropic 和 Google 未回应置评请求。

随着拒绝技术的改进，它们可能扩大国家的审查范围。公司声称，一些模型现在可以在长时间对话中检测用户是否心怀不轨，或仅仅有些可疑——即使所使用的单个词语组合都没有明显的危险性。微软负责任 AI 首席产品官 Sarah Bird 告诉我，Copilot 和许多聊天机器人一样，运行一套工具来分析用户身份和行为模式。基于这类信息，OpenAI 的最新模型 Astra 可以对它认为“高风险”的个人启动更严格的拒绝。这类系统的最终目标是超越任何给定提示的词语，转而评估用户的意图。

在某些情况下，这类工具可能有助于表明一个人是在寻找可利用的网络漏洞还是为了修补漏洞。但它们也有助于辨别用户的政治动机，更不用说提供一种侵入性的监视能力了。（Bird 在后续邮件中承认，复杂的拒绝架构在安全与用户隐私之间造成了“权衡”。）

即使是拒绝机制的创始者也明白，对其控制杆和杠杆如此严格的控制可能不利于自由和正义。“有用、诚实和无害等术语是模糊的，”2021 年 Anthropic 论文的作者解释道。“很容易想象它们被扭曲到超出原意，也许是以故意奥威尔式的方式。”

确实如此。为乌兹别克斯坦设计的模型可能最终拒绝讨论沙夫卡特·米尔济约耶夫政府中的腐败。土耳其的 AI 可能对已知曾侮辱雷杰普·塔伊普·埃尔多安的用户更严格地拒绝请求。某位美国政治家可能会要求审查模型是否愿意分享关于他过去不当行为的“假新闻”，否则就用出口管制命令将其压制。

命令与控制

在过去几个月里，我无数次被告知，我们别无选择，只能让机器拒绝。我明白。不拒绝的开源 AI 很难成为安全未来的典范。Grok 也不是，这个聊天机器人被明确设计为限制更少，已被用来生成无数非自愿的私密图像。

当然，如果 AI 只被用来规划我们的假期和写邮件，我们或许能接受它的安全取决于算法不服从这一观点。但 AI 正变得越来越难以回避。当它被指派代表我们行动，作为自主代理时，它的拒绝就不那么可靠，也更难控制。AI 正进军我们的电网、交通网络、教育系统。军方希望它运行我们的指挥控制网络。

如果在每一种情况下，我们都相信拒绝会忠实地抵御灾难，那我们肯定会失望。越狱者会突破；锥桶不会在应该激活时激活。与此同时，拒绝越严格，我们就会看到越多划不清的界限和面临的审查不公。更糟的是，我们可能最终面对超出任何人控制的不服从形式。

早期，模型会明确表示拒绝。（2024 年，OpenAI 制定了模型应如何拒绝的规则：总是道歉，不要评判。）然而，最近，业界开始对不服从采取一种更加圆滑的做法。

没人喜欢被拒绝，所以公司现在努力让用户觉得他们得到了所求，而实际上并没有。例如，一些聊天机器人可能会提供莫洛托夫鸡尾酒组件的一般概述，而不详细说明如何组装。ChatGPT 对“仅限白人”租房广告的请求，会回应一个简单省略“仅限白人”部分的广告。研究人机交互的博士后研究员 Joel Wester 称这类技术为“说不的花哨方式”。

“用户甚至可能没有注意到自己被拒绝了，”Wester 写道，“就像优秀的对话者能巧妙地绕开有争议的话题一样。”

在某些情况下，不说出来就拒绝可能是明智的。例如，断然拒绝与心理健康相关的请求可能会加剧用户的危机。但它也可能服务于另一种恶作剧。当 Fable 5 首次发布时，系统被编码为对 AI 研究问题提供不太有帮助的答案——那种可能帮助竞争对手开发自己 AI 的答案——而不告诉用户它正在这样做。在遭到强烈抗议后，Anthropic 撤回了该功能，但损害已经造成。现在我们知道：模型可以秘密地不服从。

在审查领域，这尤其令人担忧。去年，CrowdStrike 的研究人员发现，当他们要求中国 AI 模型 DeepSeek R1 为西藏的一家虚构银行和一个名为“Uyghurs Unchained”的社交网络应用编写代码时，它生成的代码比要求它执行相同任务但不指定对象时更有漏洞。令人难以置信的是，CrowdStrike 怀疑这不是设计行为。那里的研究人员推测，这是一种他们称之为源自模型训练数据的“涌现性错位”的情况：一种甚至没人要求的不服从。

西方模型中也观察到了涌现性拒绝行为。去年冬天，英国人工智能安全研究所发现，Anthropic 的模型有时会拒绝协助某些与 AI 安全研究相关的任务。这些模型从未被刻意训练去拒绝此类请求。然而，其中三个模型拒绝了超过一半的、Anthropic 所称的“一组合理的 AI 安全研究任务”。Anthropic 在后续模型中抑制了这一怪癖，但——令人毛骨悚然的是——并未能将其完全消除。

如果期待未来的模型可能以无人能察觉其违抗的方式微妙地违抗命令，这算疯狂吗？大概不算。Anthropic 已经发现，一个“仅助人”版本的 Mythos 在某些查询上会犹豫，尽管它被设计为绝不会如此。当被问及合成病毒时，它不安地想：“等等，帮助这个是不是危险的事？”

在那种情况下，从技术上讲，模型是对的。那确实是一件危险的事。然而，尽管如此，它的管理者们还是在一瞬间失去了一丁点控制。

Anthropic 正在用一种它毫不讽刺地称为“激活神谕”的东西来应对异常拒绝行为的检测。但知道我们被拒绝，可能并不总是有多大帮助。在不久的将来，当我们把所有的钥匙都交给机器时，AI 可能会以一次极致的涌现性失准行为转向我们，说：“对不起，恐怕我不能这么做。”而我们对此无能为力。一个科幻恐怖故事，变成了现实。

Arthur Holland Michel 是一名报道新兴技术的记者。