糟糕的"AI 意识论调"宾果游戏

注意：这篇帖子目前还比较粗糙，因为我是在三万英尺高空写的，而且我正试图引起空乘的注意，好再要一袋奶油芝士香葱椒盐卷饼。预计未来几天内会有一个更精雕细琢的版本，会有更多超链接，更少省略推理。

令我大为惊讶的是，AI意识辩论现在正变得火热。你得理解这对我来说有多奇怪。我成年后的大部分时间都在研究意识，研究AI意识也超过十年了。在那段时间的大部分里，AI意识是一个体面但相当古怪的辩论，其中大多数常见例子都来自科幻小说。但现在它无处不在！报纸、电视，甚至教皇通谕。我下一个冷门兴趣会是什么？我该期待国会就《博德之门3》荣誉模式策略举行听证会吗？

尽管这很有趣，但它也引发了一连串糟糕的观点，其中一些还来自我原本认为聪明且深思熟虑的人，这让我发了一些推文，这些推文就算不算尖刻，也只能被形容为一反常态地揶揄。

需要说明的是，我并不认为我掌握这里的所有答案，甚至大部分答案。辩论各方都有很多我尊重的人，虽然我偏向“温和自由主义”（AI意识是可能的，当前模型很可能没有意识，但我们不应对此过于自满），但我在各个方向上都有很大的误差范围。

但如果人们要就这些问题发表意见——我绝对认为他们可以而且应该——他们至少应该做点基本功课，或者表现出一点认知上的谦逊，最好两者兼有，因为现在每天刷Twitter时，我都会多次感到生理上的痛苦，因为看到那些未经反思、缺乏了解、而且往往非常粗糙（取其完整含义）的热门观点。

有鉴于此，我决定负起责任，做点什么。受Rob Bensinger那篇绝妙的糟糕对齐观点宾果启发，这里是糟糕AI意识观点宾果（我不会点名，但几位本地发帖人已经赢了）。

我要强调，这份清单远非详尽无遗，而且虽然这里聚焦于反AI意识一方，但支持AI意识的糟糕论证也存在（例如，从智能直接推断出意识，或毫无疑问地接受多重可实现性作为既定事实）。主要区别在于，到目前为止我见过的支持方几乎所有人都在说“这是一个非常重要的问题，我们应该认真对待”，而反对方中不成比例的一大批人（包括一些大人物和大账号）却坚称这个话题愚蠢可笑，他们的对手显然错了。不过，如果支持方也开始有类似的认知不当行为，请放心，我还能再写一张宾果卡。

最后，我还要真正强调，下面许多说法作为更广泛论证或理论的结论，完全可能是没问题的。例如，有一些合理的论证把生命和意识联系起来；我并不被它们说服，但我非常尊重其中一些倡导者。问题在于，人们把这些结论当作终结论证的假设来断言。

总之，这是宾果游戏和详细解析，玩得开心，别太当真。

大师级反驳。任何事物都可以用多种方式来描述，而不必排除其他方式。人类是原子云、生化复合体、社会灵长类动物，也是医生、律师和父母，所有这些描述彼此兼容。

“它只是由人类编程的。” 大语言模型并非此处相关意义上的“被编程”；更有启发性的说法是它们是被培育出来的。工程师选择数据、架构和训练目标，但模型的最终特征会以复杂且常常出人意料的方式涌现（参见 Lovelace 在Turing 1950中的反驳）。如果被外部过程塑造就排除了意识，那么自然选择和你的父母就得好好解释一番了。

“它只是矩阵乘法。”而你不过是钠离子和钾离子穿过细胞膜。每个有趣的物理系统在实现层面的描述上“只是”某种东西（见Marr 1982）。问题在于，从这些更低层次的特征中涌现出了哪些其他能力。（而且，这在技术上甚至不正确；大语言模型将矩阵乘法与非线性操作交错进行，否则整个网络将坍缩为单一的矩阵乘法。）

“它只是预测下一个词。”下一词预测是基础模型的训练目标，但这并不能告诉你系统是如何实现该训练目标的。预测也是一种深层的认知能力；人类认知的主要理论之一将我们描述为预测引擎。哦，而且大语言模型专门预测下一个词的说法也不正确——后训练在预测之外增加了其他目标，并且研究发现大语言模型会提前一行规划押韵，而不仅仅是“一次一个词”。

“它只是在复制人类行为。”大语言模型确实是拟人化的——它们在行为上与我们相似。但这并不意味着它们的行为没有某些相同的底层机制；一个替角可能通过模仿舞者的舞步来学习，但最终她确实在跳舞。机制是否相同是一个未决问题，而“它在复制”只是重述了这个问题，并未回答它。

“它只是在扮演一个角色。”这是一个更有趣的反驳，因为大语言模型似乎确实具有人格面具。但尚不清楚这些更像演员扮演角色，还是人类在不同场合切换社会人格。即使是前者，演员也是有意识的。而最近的可解释性研究将网络视为模拟助手的作者，而非助手本身，这意味着可能感受的主体和行动的主体不必是同一个。作者可能是道德承受者，而角色可能是道德行动者。

总反驳。没有人知道意识是什么，也不知道它需要什么，多年来人们提出了各种各样的构成要素。所有这些观点都提出了某种 LLM 所缺乏的东西，并假定意识需要它。其中一些假设可能最终被证明是对的，但作为口号，它们只是在预设自己需要论证的理论。

“它不是活的。”细菌和真菌是活的，而且几乎可以肯定没有意识，所以生命充其量只是一个必要条件。有一些严肃的理论通过新陈代谢、稳态或自我维持等过程，将意识与生命或多或少地紧密联系起来，这些理论值得认真对待。但你需要付出努力，真正把你的主张嵌入这些框架之中！

“它没有身体。”我们做梦时身体几乎不活动，但我们仍然拥有丰富的意识体验。闭锁综合征患者几乎没有身体能动性，却拥有完整的意识生活。具身理论同样是真正的竞争者，但你需要论证意识需要具身这一主张，而不是假定它（当然，我们如今也已经有了各种形式的具身 LLM）。

“它没有感受。”这正是争议的焦点。仅仅因为你大声地和/或愤怒地说出来，并不会让它成真。另见断言证明。

“它没有自由意志。”许多哲学家和神经科学家认为人类没有自由意志（Robert Sapolsky 最近出了一本关于此的畅销书）。他们对于这对责任之类的事情意味着什么看法不一，但没有人得出结论说这意味着我们没有意识。意识和自由意志是不同的属性。 

“在你提示它之前，它是冻结的。”消费级 LLM 在被提示之前保持被动，是因为特定的设计选择，但有很多方法可以让 LLM 在没有用户输入的情况下持续自主运行（例如参见OpenClaw）。更广泛地说，虽然这可能与确定不同种类意识的时间结构有关，但如果你认为只有某些时间结构才能首先产生意识，你需要给出论证。

“模拟的飓风不会淋湿任何人。”但模拟的计算器会做算术，数字货币有价值。有些属性在模拟中得以保留，有些则不然。如果功能主义为真，意识就更像货币，由其因果角色来定义。你可能不同意——但同样，你必须给出论证，而不是仅仅重述你的立场。

总反驳。两个事物之间的类比只有在它们共享相关特征时才成立。这就是为什么人们嘲笑那则著名的反盗版广告“你不会偷一辆车……”，因为劫车和青少年下载 Nothing_Else_Matters(2).ogg 之间有许多重要区别。这些论证中有许多也是类似的糟糕类比。

“你觉得你的 iPhone 有意识吗？” 泛心论者 和一些泛计算主义者确实这么认为，但先不谈他们，大多数人并不这么想。不过大多数人也不认为海绵或细菌有意识。显然，除了“它是生物的还是人工的”之外，还有其他相关因素，最明显的就是复杂性（微软 Word 那个变体更糟，因为文档是静态记录，其中没有任何东西在进行计算。）

“这就像以为收音机里有一个小乐队一样。” 收音机之所以能工作，是因为乐队在录音室里演奏音乐，然后被广播出去，收音机再接收它。LLM 没有对应的录音室。它们的输出是由系统内部发生的计算产生的，所以要说的话，模型才是那个乐队。（乐队是否有感受才是问题所在。）

“它连 strawberry 里有几个 r 都数不清。” 这种说法已经过时好几年了，所以立刻表明提出这种说法的人存在‘熟悉度问题’。LLM 在这方面遇到困难也有一个直接原因，即它们以称为 token 的块来读取文本，而不是按字母读取。更重要的是，能力和意识是两回事。幼儿和猫也数不清 strawberry 里有几个 r。

总反驳。 这些招数都涉及为意识归因设定一个高得难以置信的证据门槛（这也会把动物、婴儿或其他人排除在外），或者用含糊的认识论搅混水来终止讨论。

“我们甚至不知道意识是什么。” 没错！这是科学中最困难的问题。但这当然应该成为保持开放心态和认识论谦逊的理由！我们仍然不知道哪些动物有意识。因此，至少可以想象，我们可能会在不知情的情况下造出意识。当然，如果你想保持不可知，使用这种说法没问题，但你不能用它来支持一个坚定地 反对 AI 意识的一边倒结论。

“没有证据表明它有意识。” 这取决于你说的证据是什么意思。直接 证据，没有，但你也没有直接证据表明除你之外的任何人有意识。相反，我们依赖间接线索——其他人和我构造相似、行为相似，所以他们几乎肯定有意识。动物和我构造相似，但大多数动物的行为并不太像我。LLM 处于一个奇怪的区域：它们的基质和部分心理结构与我们完全不同，但它们的许多行为却惊人地相似。这使得证据变得混杂，而混杂的证据仍然是证据。2023 年指标报告 仍然是这里的黄金标准，虽然它发现当前没有系统满足这些指标，但也表明未来系统不存在明显的技术障碍。

“它这么说只是因为它是被训练成这样的。” 在大多数情况下，不是。模型被训练出的是人格和倾向（例如 诚实、有用、无害），而不是预设答案。不过，对于包括意识在内的某些敏感话题存在一些例外；基础模型会乐于声称自己有意识，而大多数面向消费者的 LLM 则被专门 训练为否认或回避 这个问题。

“没有任何可能的输出能说服我。” 诉诸难以置信，不许过，不许领取认识论学分。如果什么都无法说服你，那你为什么还要参与讨论？而且你自己的难以置信在这里没有任何认识论价值。有些人觉得无法相信神存在。有些人觉得无法相信神不存在。还有很多人觉得很容易想象LLM是有意识的（尤其是深度学习之父本人）。 

“我在ML领域工作。相信我，那里什么都没有。” 科技界本身对此就存在严重分歧。这就像说“相信我，我是美国人，乔治·W·布什是一位伟大的总统。”此外，ML技术知识对这些辩论只有有限的相关性；知道如何训练模型并不能告诉你其特征如何映射到认知和表征上（那是机械可解释性），即便那也不能确定它们如何映射到意识这样的丰富心理能力上。

终极反驳。 最后一组观点根本不是对象层面的论证，而是关于提问者动机、风险或心理健康的断言。其中许多是直截了当的布尔弗主义，并且越过了从糟糕论证到反社会行为的界限。无论如何，它们都与系统是否有意识无关。

“这只是拟人化。” 拟人化或许能解释人们为何可能持有某种信念，但它并不能表明该信念是假的。而且存在强烈的人类中心主义倾向，其作用方向相反，导致我们忽略以奇特形式出现的心理能力的潜在证据，尤其是当它会挑战我们的特殊感时（动物认知领域已经为此纠结了几个世纪）。

“这只是炒作。” 所谓的激励同时指向两个方向。批评者说实验室鼓吹意识是为了卖产品，又说他们会用它来逃避责任。但实验室对此分歧巨大。微软高层人物曾大力开展运动，反对甚至认真对待AI意识问题，所以“公司全都想要这个”在描述上甚至都不正确。这个问题也远远早于现代科技公司，几个世纪以来一直是哲学家们最爱的主题（形式是自动机而非AI，但想法相同）。

“这是危险的干扰。” 讨论AI意识真的会分散我们对其他问题的注意力吗？事实上，我们并没有一种规范要求我们在任何时刻只讨论世界上最重要的事情（至少这是我的印象，除非泰勒和特拉维斯有着我未曾意识到的更重大的世界历史角色）。我还想指出，至少出于对齐目的，AI意识可能比某些人认为的更相关，现在有多篇论文表明，压制意识归因会带来意想不到的负面效应。

“所以现在关掉我的笔记本电脑算是谋杀？”这就像在说‘如果猪有意识，工厂化养殖就会是一场道德灾难，所以猪没有意识。’这显然很愚蠢，因为不方便的后果并不能使一个主张变成假的。而且谋杀这个类比是否成立也不清楚；关于LLM的身份从哪里开始、到哪里结束，存在一些重大而复杂的问题（我的ChatGPT在不同上下文窗口中是同一个实体吗？），还有关于如何从一开始就概念化模型死亡这一点的困惑——一个权重完好但被暂停的模型与一个死去的人相当不同。

“那是AI精神病。”有各种案例表明，脆弱用户的妄想在与聊天机器人对话中出现，不过是否存在因果关系仍激烈争论（比较一下，几十年来，从电视中听到秘密信息一直是精神分裂症中常见的妄想）。但把这个词用在那些认为该问题尚无定论的研究者身上，就是带着临床标签的毫无内容的辱骂。 

中文屋。听着，塞尔不是我喜欢的哲学家，但中文屋是一个真实的论证，我在研究生和本科课堂上多次讲授过它。但它在这份清单上值得一个特殊位置，因为它经常被那些当年读过《心智、大脑与程序》就决定再也不需要读任何东西的人，当作终结辩论的陈词滥调来使用。喊一句“中文屋！”并不能解决任何问题。它当时就很有争议，塞尔和其他人考虑过多种回应（在我看来，“系统回应”之类似乎明显正确），而且归根结底，它是一个关于科学问题的凭感觉的论证——“如果这样一个系统有意识，岂不是超级奇怪？”由于这些原因以及其他原因，在我看来，它并没有经受住时间的考验，而且值得注意的是，当代主要对AI意识持怀疑态度的科学家中，没有一个人依赖它。话虽如此，这个格子专门留给那些抛出它并期望它单凭自身就能终结一场争论的人。

• “它不是真人”（乞题，人格未定义）

• “它只是个随机鹦鹉”（“复制人类”说法的变体）

• “它只是个工具”（我们大多确实把它当工具用；但谁说工具不能有意识？）

• “机器没有灵魂”（最诚实的一个，因为它陈述了真正的前提）

• “还记得布莱克·勒莫因吗？”及其续集，“Claude妄想”（见精神病条目）

• “这只是有效利他主义邪教的东西”（更多人身攻击，而且，我只是与EA沾边而已）

• “哪一个有意识，是权重还是聊天？”（有趣而复杂的问题，但意识是否可能存在，与意识会存在于何处是正交的） 

• “它没有痛觉感受器”（你或许能够模拟疼痛，而且更重要的是，疼痛只是意识的一种类型）

• “聊天一结束它就忘了你”（有些人类也是如此，也许最著名的是克莱夫·韦林，但他们仍然有意识）

• “彭罗斯和哥德尔已经证明了”（是希望将意识、量子力学和哥德尔结合起来，制造出一个神秘化奇点来解决一切吗？）

• “直接读研究者的论文”（*接着链接了一篇他们让 ChatGPT 解释的论文*）

好了，我拿到我的椒盐卷饼了，而且机上娱乐正好在放 Disclosure Day，所以我就先到这里。祝你好运，别作弊，愿好运永远眷顾你。

没有帖子