跳到正文
Hacker News· KeyurRamoliya·· 9 天前AI 评分22

机器意识科学与工程:为什么语言模型的自我报告无法证明其有意识

The Science and Engineering of Machine Consciousness

AI 导读

语言模型如今能流畅谈论内心体验,但Anthropic在Claude Opus 4系统卡中表示,对模型是否值得道德考量"深感不确定"。文章认为,仅凭语言模型的输出无法判断其是否具有意识,因为输出本身训练自人类对体验的描述,任何测试要么预设了有争议的意识理论,要么可被训练成"听起来像人"的系统通过。可行路径是测量科学理论指向的功能组件,并将自我报告视为带有已知失效模式的数据。

正文 · AI 翻译

译文尚不完整,完整内容请切换到原文。

语言模型如今会谈论自己的内心生活(Anthropic, 2025b; Berg, de Lucena and Rosenblatt, 2025)。问一个模型它感觉如何,它往往会用流利、审慎的第一人称文字作答。2022年,一位谷歌工程师称LaMDA聊天机器人具有感知能力,谷歌回应称“没有证据表明LaMDA具有感知能力(而且有大量证据表明它没有)”(Chalmers, 2023)。到2025年,这个问题已不再是一则关于某位工程师的新闻。那一年,Anthropic在Claude Opus 4系统卡中发布了一份模型福祉评估,并写道:“我们深感不确定,现在或未来的模型是否应得到道德考量,也不确定我们如何才能知道它们是否应得”(Anthropic, 2025b)。几个月后,它允许旗下部分模型终止辱骂性对话(Anthropic, 2025c)。如果我们正在建造Dario Amodei所称的“数据中心里的一群天才”(Amodei, 2024),那么里面是否有人在家,就不是一个无关紧要的问题。

我在这篇文章中想要探讨的问题,陈述起来简单,回答起来却很难。我们从语言模型那里看到的唯一证据就是它的输出,而那种输出是在人类对经验的描述上训练出来的。一个读过数百万页人们描述痛苦、喜悦和内心生活的系统,也能描述这些,无论它是否真的有所感受。因此,我们通常用来判断心智的方式——依据它们说什么和做什么——恰恰在我们最需要它的地方失效了。

我的立场——本文余下部分将为之论证——是这样的。我们无法从当今AI系统所说或所做中读出它们是否有意识。每一种测试要么预设了一种有争议的意识理论,要么可以被一个经过训练、听起来像我们的系统所通过。我们能做的范围更窄,但仍然有用:测量科学理论所指出的功能组件,把自我报告当作具有已知失效模式的数据,并设计系统,使用户无论在哪一种情况下都不会被误导。这就是科学与工程,而我认为工程这一半得到的关注太少。

一个旧问题的新形式

这一切都不是新问题。新的是,我们终于有了让这个问题变得切实可行的机器。要同时看清这个旧问题及其内在陷阱,最清晰的地方就是开创这个领域的那篇论文。

图灵的替代问题

艾伦·图灵1950年的论文开篇写道:“我提议考虑这个问题:‘机器能思考吗?’”(Turing, 1950, 第1节),然后几乎立刻拒绝以这种形式回答它。他论证说,按通常用法来定义“机器”和“思考”,会把问题降格为某种民意调查。因此“与其尝试这样的定义,我将用另一个问题来替代这个问题,它与原问题密切相关,并且用相对明确的词语表达”(Turing, 1950, 第1节)。这个替代就是模仿游戏:一名询问者与一台隐藏的机器和一个隐藏的人交换打字信息,并试图分辨哪个是哪个。

这是一次出色的工程学之举。它把一场定义之争变成了任何人都能运行的实验。它也确立了AI评估沿用七十多年的模式:当内在问题难以回答时,就转而测量外在行为。基准测试、排行榜和聊天机器人竞技场,都是这一选择的产物。

问题在于,意识恰恰是这种替代所遗漏的属性。图灵知道这一点。在同一篇论文中,他为自己的测试辩护之后写道:“我不希望给人留下这样的印象,即我认为意识不存在任何谜团。例如,任何试图定位它的尝试都伴随着某种悖论”(Turing, 1950, 第6节)。他主张,“我不认为这些谜团必须在我们能够回答本文所关注的问题之前得到解决”(Turing, 1950, 第6节)。就思维而言,他或许是对的。就意识而言,他搁置的那个谜团本身就是问题所在。

来自意识的论证

图灵用了一节来讨论他所称的来自意识的论证,并且选择了一个强劲的对手。他引用了神经外科医生Geoffrey Jefferson在1949年一次演讲中的话:“直到机器能够因为所感受到的思想和情感,而非符号的偶然排列,写出一首十四行诗或谱写一首协奏曲,我们才能同意机器等同于大脑——也就是说,不仅写出它,而且知道是自己写出了它”(Turing, 1950, 第6节)。

带着现代语言模型再读一遍这句话。写出十四行诗如今很容易。Jefferson真正的要求在后半句:这首诗必须来自“所感受到的思想和情感”(Turing, 1950, 第6节),而且机器必须知道是自己写的。这就是下一节中访问性与现象性的区分,由一位神经外科医生在1949年提出。

图灵的回答是我认为今天最相关的部分。他指出,推到极端,Jefferson的观点意味着“一个人能够确信机器在思考的唯一方式,就是成为那台机器并感受到自己在思考”(Turing, 1950, 第6节)。如果一贯地应用,这就意味着知道另一个人在思考的唯一方式就是成为那个人。“这实际上就是唯我论的观点”(Turing, 1950, 第6节)。没有人真的那样生活。“与其在这个问题上无休止地争论,通常的做法是采取一种礼貌的约定,即每个人都思考”(Turing, 1950, 第6节)。

我将把这称为礼貌的约定,因为它道出了我们所有人都在不知不觉中做的事。我们无法看透彼此的内心。我们承认他人拥有心智,因为他们表现得像我们,因为他们构造得像我们,也因为不这样做生活将无法维系。图灵打赌,大多数提出来自意识的论证的人“会被说服放弃它,而不是被迫陷入唯我论的立场”(Turing, 1950, 第6节),因此会接受行为作为测试。

他甚至展示了通过这一测试可能是什么样子。他想象中的口试中,提问者就机器自己的一行十四行诗“我能否将你比作夏日”向机器发难,机器回答说“冬日”不行,因为没有人愿意被比作冬日(Turing, 1950, 第6节)。在1950年,这段对话是科幻小说。今天,任何有能力的语言模型都能进行这样的对话。

这就是问题所在,也是整篇文章的问题所在。礼貌惯例之所以行得通,是因为直到最近,一切表现得像人的东西都是按人的方式构造的。行为与生物性合为一体,所以信任其一就意味着信任其二。语言模型是第一批将二者拆分开来的系统。它们从一种完全不同的系统中大规模地产生行为,而这种系统是专门根据人类行为的记录训练出来的。礼貌惯例从来不是对意识的检验。它只是一条捷径,只有当行为与生物性成对出现时才有效。

洛夫莱斯夫人的反驳

图灵还回应了第一位撰写通用计算机相关文章的人提出的反驳。他引用艾达·洛夫莱斯关于巴贝奇分析机的笔记,写道,它“没有自命能原创任何东西。它能做的只是我们知道如何命令它去执行的事”(Turing, 1950, 第6节)。他的回应一部分是技术性的,指出她缺乏证据证明这类机器永远无法学习;一部分则是个人性的:“机器常常让我感到意外”(Turing, 1950, 第6节)。

现代模型在洛夫莱斯那个狭义论点上站在了图灵一边。没有人命令语言模型去做它所做的绝大部分事情;它学会了那些行为,并让建造它的人感到意外。但意外关乎的是我们,而不是机器。一个系统可以原创出无人预测到的东西,却仍然没有任何“身为它是什么感觉”可言。工程学基本上已经回答了关于原创性和创造力的旧反驳。关于感受的反驳还没有,这就是为什么它是唯一仍然站得住脚的那一个。

我们所说的意识是什么意思

大多数关于机器意识的争论在第一句话就出了问题,因为双方对这个词的使用方式不同。所以这里值得放慢一点。

身为它是什么感觉

大多数研究者从托马斯·内格尔的定义出发。在他1974年那篇关于蝙蝠的文章中,他写道,“一个有机体拥有有意识的心理状态,当且仅当身为那个有机体是什么感觉”,他称之为“经验的主观特征”(Nagel, 1974)。一只靠回声定位导航的蝙蝠大概正在经历某种体验,即使我们无法想象从内部看它是什么感觉。一个对温度作出反应的恒温器大概没有。

内格尔的定义关乎内部,而非外部。它没有提及智能、语言或行为。这正是它适合作为机器研究起点的原因,也正是它如此难以适用于机器的原因。一个模型可以极其强大,而身为那个模型是什么感觉这个问题仍然悬而未决。

杂种概念

内德·布洛克把这种混淆明确说了出来。“意识是一个杂种概念:存在许多非常不同的‘意识’”(Block, 1995)。他区分了其中两种。“现象意识就是经验”,即内格尔意义上的意识(Block, 1995)。取用意识则是“可用于推理以及理性地引导言语和行动”(Block, 1995)。

我会不断回到这个对比:access 与 phenomenal。语言模型显然在功能意义上拥有类似 access consciousness 的东西。在上下文中,信息可供其推理使用,并塑造它所说的话。这没有争议,我也不认为它本身很有趣。有趣的问题是现象性的那个,而我最常看到的错误是把 access 的证据当作体验的证据。

简单问题与难问题

David Chalmers 划出了一条相关的界线。意识的“简单”问题关乎功能:一个系统如何区分刺激、整合信息、报告其状态、集中注意力。他的清单包括“认知系统对信息的整合”和“心理状态的可报告性”(Chalmers, 1995a)。然后是另一个:“真正困难的意识问题是体验问题”(Chalmers, 1995a)。

简单问题之所以简单,只是因为我们知道什么样的答案能解决它们:找到机制。在 2026 年读 Chalmers 的清单,引人注目的是,现代 AI 系统明显执行了其中许多项。它整合信息并报告其状态。如果意识是简单问题,机器问题就几乎已经解决了。正是难问题让它悬而未决。

幻觉主义

有一种严肃的少数派观点认为,难问题本身就是一个错误。Keith Frankish 称之为幻觉主义:“幻觉主义者否认体验具有现象属性,并专注于解释为什么它们似乎具有这些属性”(Frankish, 2016)。在这种观点下,任务不是解释体验,而是解释为什么我们如此确信自己拥有体验,即 Frankish 所称的幻觉问题。他称 Daniel Dennett 为其主要捍卫者,同时指出这仍是一个少数派立场。

幻觉主义对机器很重要,因为它改变了问题。如果人类意识是一种特定类型的自我表征,那么拥有同类型自我表征的机器就会以任何人唯一可能的意义上是有意识的。问题变成了关于内省架构的工程问题。我不认为幻觉主义是对的,但任何写 AI 的人都应该知道它是活着的立场之一,因为它使机器意识最为直截了当。

机器究竟能有意识吗?

在问某个特定模型是否有意识之前,有一个先决问题:原则上,任何由硅和软件构成的东西能有意识吗?答案沿着一条线分裂:功能与基质。

功能主义者的赌注

功能主义者的答案是肯定的。Chalmers 为他所称的组织不变性辩护:“任何两个具有相同精细功能组织的系统将拥有质性相同的体验”(Chalmers, 1995a)。他的思想实验将一个人的神经元逐个替换为硅芯片,每个芯片完全执行该神经元的工作。如果在替换过程中体验消退或闪烁,而行为保持相同,那么这个人就会以某种看似荒谬的方式对自己体验的判断出错。他得出结论:“复制我们功能组织的系统将是有意识的,即使它们由硅制成”(Chalmers, 1995b)。

问题在于,这一点很容易被忽略。该论证需要细粒度的功能复制,即在部件层面具有相同的组织方式,而不仅仅是在整体层面表现出相同的行为。语言模型并不是对任何人的逐神经元复制。它从一种完全不同的内部组织方式中产生出类人的行为。因此,功能主义的赌注即使正确,也并不能告诉我们当今的模型是有意识的。它告诉我们的是,物质材料并不是排除它们的原因。

基质反对意见

反对观点认为,一个系统由什么构成,以及它在物理上如何连接,才是重要的。

最古老的版本是约翰·塞尔的“中文房间”。塞尔想象自己在一个房间里,按照规则操纵中文符号,熟练到外面的人会相信他们正在与一个说中文的人交谈,而他自己却什么都不懂。他的结论是:“实例化一个计算机程序本身从来都不是意向性的充分条件”(Searle,1980)。这里值得精确一点。塞尔的论证是关于理解和意义的,并不直接关于现象体验,尽管它通常也被解读为反对机器意识的论证。

最强的现代版本来自整合信息论,我在下文会更详细地描述。朱利奥·托诺尼和克里斯托夫·科赫使用了一个生动的类比:“就像对一颗巨星的计算机模拟不会使机器周围的时空弯曲一样,对我们有意识大脑的模拟也不会有意识”(Tononi and Koch,2015)。他们更进一步,声称数字计算机“即使能够忠实模拟人脑,也几乎不会体验到任何东西”(Tononi and Koch,2015)。同一团队最近的一篇论文陈述了这一普遍观点:“两个系统可以在功能上等价,而在现象上并不等价”(Findlay et al.,2024)。

这就是模拟与实例化之间的对比。天气模拟不会让任何东西变湿。如果意识像天气一样,是物理过程的一种属性,那么模拟一个有意识的大脑产生的就是关于意识的描述,而不是意识。如果意识像算术一样,是计算的一种属性,那么一个计算出相同东西的模拟就拥有它。

阿尼尔·塞思主张第三种立场,更接近塞尔的立场,但以神经科学为基础。他挑战“计算为意识提供了充分基础这一假设”,并主张“意识取决于我们作为生命有机体的本性——一种生物自然主义的形式”(Seth,2025)。他早期的工作将体验与大脑对其所维持的身体的预测联系起来,结论是“具身自我的体验之所以产生,是因为而非尽管我们作为‘野兽机器’的本性”(Seth and Tsakiris,2018)。他对人工智能的裁决是有分寸的:“沿着当前轨迹,真正的人工意识不太可能,但随着人工智能变得更像大脑和/或更像生命,它会变得更加可信”(Seth,2025)。

我觉得注意到这一分歧不是什么很有用。双方都不质疑语言模型能做什么。功能主义者和生物自然主义者可以观察同一个模型,并对每一个输出都达成一致。他们分歧在于,输出,或者其背后的计算,是否可能足够。

科学理论对机器提出了什么要求

哲学框定了问题。关于意识的科学理论试图找出哪些大脑过程实际上区分了意识处理与无意识处理。仔细阅读每一种理论,都会发现它对机器隐含着不同的要求。正是在这里,问题变成了工程问题。

全局工作空间

全局工作空间理论作为神经科学理论,其根源颇为不同寻常。Bernard Baars 写道,它“源自认知科学中的认知架构传统”,建立在早期人工智能的黑板架构之上——在那种架构中,专门的模块将结果发布到一个所有模块都能读取的共享空间(Baars, 2005)。大脑版本即全局神经元工作空间,描述了许多专门处理器以及一个由长程连接构成、将它们连接起来的工作空间(Dehaene, Kerszberg and Changeux, 1998)。信息在竞争中胜出并被广播时,就变得有意识:“与循环处理相关的非线性网络点火会放大并维持一种神经表征,使相应信息能够被全局访问”(Mashour et al., 2020)。

Stanislas Dehaene 及其同事将其分为两个计算层次:信息的全局可用性(C1)和对自身计算的自我监控(C2)。2017 年,他们评估认为“当前的机器大多仍在实现反映无意识处理(C0)的计算”(Dehaene, Lau and Kouider, 2017)。

这一理论对人工智能很重要,因为它描述了一种架构。如果它是正确的,那么对给定系统而言,问题就在于它是否拥有一个容量有限的工作空间,能够选择信息并将其广播给专门模块。这是你可以针对系统设计提出的问题。

整合信息

整合信息理论(IIT)从相反的一端出发。它从体验的属性开始,追问一个物理系统必须具备什么条件才能拥有这些属性。其核心主张是“意识对应于系统整合信息的能力”,用一个称为 Φ 的量来衡量(Tononi, 2004)。在其后期形式中,“一个体验是一个最大不可还原的概念结构”(Oizumi, Albantakis and Tononi, 2014),并且“意识的物理基底必须是内在因果效力的最大值”(Tononi et al., 2016)。IIT 4.0 声称其公设“可以应用于任何处于某一状态的单元系统,以确定它是否有意识、在何种程度上以及以何种方式有意识”(Albantakis et al., 2023)。

对人工智能而言,IIT 给出了所有理论中最鲜明的答案。重要的是物理硬件的因果结构,而不是软件。纯前馈网络“并非内在地——为其自身——存在,而是一个僵尸——无意识地执行任务”(Tononi and Koch, 2015)。传统数字计算机的整合信息非常少,无论其程序多么巧妙。有两个细节值得厘清。“僵尸”的判定是针对严格的前馈网络而言的,而数字计算机总体上被说成体验“几乎为零”,并非恰好为零。在实践中,Φ 无法为一个像现代模型那样大的系统计算,因此该理论对人工智能的判定是理论推论,而非测量结果。

高阶理论

高阶理论认为,当一个系统将自身表征为处于某种心理状态时,该心理状态就是有意识的。在Hakwan Lau和David Rosenthal的总结中,“有意识的觉知关键取决于将自身表征为处于特定心理状态的高阶心理表征”(Lau and Rosenthal, 2011;另见Rosenthal, 1986)。

对于机器而言,要求是真正的元认知:系统所使用的、关于自身一阶状态的内部表征,而不仅仅是关于自身的文本。当我们谈到模型如何描述自身时,这一区分将至关重要。

循环加工

Victor Lamme的循环加工理论来自视觉科学。视觉系统中快速的前馈扫描能够识别并归类一个刺激,但那次扫描“很可能无法产生视觉觉知”(Lamme and Roelfsema, 2000)。按照这一观点,意识需要循环加工:即从高级区域回传到低级区域的活动。Lamme明确指出了与全局工作空间观点的区别:“全局工作空间理论只关乎访问,而不关乎看见”(Lamme, 2010)。

这提出了一个我认为对Transformer而言真正悬而未决的问题。在单次前向传播中,Transformer是前馈的:信息向上流经各层,从不向下回传。但生成是一个循环。每个新token都会被反馈回去,下一次传播会读取模型自己之前的输出。这个经由输出的循环是否算作Lamme意义上的循环,还是更像一个人阅读自己的笔记,并不是该理论被构建来回答的问题。

注意力图式

Michael Graziano的注意力图式理论提出,“主观觉知是大脑对注意力过程的内部模型”(Graziano and Webb, 2015)。大脑维持着一个关于它所注意对象的简化模型,正如它维持着一个关于身体的简化模型,而我们的觉知感就是那个模型。

Graziano明确表示这是一个工程学提议。他将其作为“构建人工意识的一个可能起点”提出,并称这样的机器“会‘相信’自己是有意识的,并表现得像是有意识的一样,其意义与人类机器相信并行动的方式相同”(Graziano, 2017)。在所有科学理论中,这一理论对机器意识最为开放,并且与幻觉论颇为接近。

预测加工与野兽机器

预测加工将大脑视为一个预测引擎,它不断猜测其感觉输入的成因并修正这些猜测。Seth的版本聚焦于身体。他将情绪描述为“源自对内感受传入信号成因的主动推断的生成(预测)模型”,这些信号来自身体内部(Seth, 2013)。按照这一观点,体验根植于一个预测并调节自身生理活动的生命系统。这是Seth的生物自然主义的科学基础,也是他认为一个没有身体需要维持存活的语言模型是不佳候选者的原因。

需求图谱

以下是我如何根据当今的语言模型以及基于它们构建的智能体,来解读每种理论的要求。右列是我的评估,并非来自这些论文中任何一篇的发现。

理论它要求什么当今的模型
全局工作空间模块、有限的工作空间、广播部分符合
整合信息硬件中的高Φ值否
高阶系统所使用的自我表征弱
循环处理反馈回路不明确
注意力图式对其自身注意力的模型否
预测处理它所调节的活体否

这些判定各需一句话。智能体框架在工具和模块之间传递信息,但标准Transformer没有明确的瓶颈来选取某一项并广播它,因此工作空间的答案是“部分符合”。就IIT自身的标准而言,传统数字硬件无论运行什么都得分极低。高阶表征仅以微弱且部分的形式存在,如下文的内省结果所示。循环性因上述原因而不明确。Transformer具有注意力,但其设计中没有任何东西对这种注意力建模。而语言模型没有需要维持生命的身体,而这正是Seth版本的预测处理所要求的。

这些理论本身尚无定论

这样一张表可能让人觉得我们只需勾选方框即可。更深层的问题在于,我们不知道哪种理论是正确的,而且支持它们的证据比其自信的表述所暗示的要薄弱。

2025年,Cogitate联盟发表了一项对抗性合作的结果,其中IIT和全局神经元工作空间的支持者事先就预测达成一致,然后用来自256名参与者的大脑记录进行检验。结果:“这些结果与IIT和GNWT的一些预测相符,同时实质上挑战了两种理论的关键信条”(Cogitate Consortium et al., 2025)。作者还指出,“直接检验任一理论的数学或计算核心是困难的”(Cogitate Consortium et al., 2025)。最后这句话对AI很重要,因为计算核心恰恰是适用于机器的部分。

IIT面临更尖锐的挑战。2023年,一大群研究人员在一封公开信中称其为伪科学(IIT-Concerned et al., 2023)。2025年的一项同行评审后续研究认为,“该理论确实不科学,因为其核心主张即使在原则上也无法检验”(IIT-Concerned et al., 2025)。如果这一批评成立,那么IIT关于计算机没有意识的自信判定也是无法检验的。

因此,我们有若干严肃的理论,每个理论对机器都意味着不同的答案,却没有确定的方法在它们之间做出选择。我认为这就是科学诚实的现状,任何声称在任一方向上确定的人都已经走在了科学前面。

从理论到清单

如果没有任何单一理论可以信任,一种应对方式是使用所有理论。这就是迄今为止关于AI意识最具影响力的报告所采取的方法。

指标属性

Patrick Butlin、Robert Long 以及十七位合著者,包括神经科学家、哲学家和 Yoshua Bengio,从科学理论中推导出意识的“指标属性”,并“以计算术语加以阐明”(Butlin et al., 2023)。该方法假设了计算功能主义,即正确的计算足以产生意识,然后追问每种理论认为哪些计算是重要的。

他们列出了十四个指标。两个来自循环处理理论,四个来自全局工作空间理论(并行专门系统、容量有限的工作空间、全局广播、状态依赖的注意),四个来自高阶理论(包括元认知监控以及由其引导的能动性),一个来自注意图式理论,一个来自预测处理,还有两个关于能动性和具身性。具备其中越多指标的系统,就越有可能是候选者。

他们2023年的结论经过精心平衡:“当前没有AI系统是有意识的,但也表明,构建满足这些指标的AI系统不存在明显的技术障碍”(Butlin et al., 2023)。在2025年的一项后续研究中,该团队将这些指标重新表述为设定信念程度的方式,而非给出是或否的判定:“从这些理论中推导出的指标可用于为关于特定AI系统是否有意识的信念提供依据”(Butlin et al., 2025)。

我认为这是整个领域中最有用的举措,出于工程上的原因。它把一个无法回答的问题变成了一组可以回答的问题。你无法测量一个系统是否有体验。你可以检查它是否有全局工作空间、循环或元认知监控。这份清单不会告诉你真相,但它会告诉你该往哪里看,并让分歧变得具体。

对照语言模型来解读这十四个指标

值得一组一组地过一遍这些指标,因为它表明有多少东西取决于那些在人们争论聊天机器人是否有意识时很少被提及的架构细节。以下是我自己对标准Transformer语言模型及建立在其上的智能体的解读。这不是报告对任何特定系统的评估。

循环处理(RPT-1和RPT-2)。第一个指标要求使用算法循环的输入模块;第二个要求有组织的、整合的知觉表征。Transformer通过其各层对输入进行单次向上传递,因此在一次传递中不存在Lamme所描述的那种循环。该模型确实为其输入构建了丰富、结构化的内部表征,尤其是在同时接受图像和文本的模型中。因此我将这一组解读为一个部分具备、一个缺失,并保留先前关于生成循环的开放问题。

全局工作空间(GWT-1 至 GWT-4)。这四个指标描述的是:许多专门系统并行工作;一个容量有限、带有瓶颈和选择性注意的工作空间;进入工作空间的内容被全局广播;以及注意依赖于系统状态并按顺序查询各模块。智能体框架出人意料地接近第一和第四个指标:一个中心模型根据它想做的事情,依次咨询专门的工具。第二和第三个则更难。每个 transformer 层都会读写一个共享的信息流,这看起来有点像广播,但标准设计中没有任何东西强制产生竞争,让某一项赢得稀缺的工作空间,而其余的被抑制。上下文窗口的大小是有限的,但它更像一个大记事本,而不是一个瓶颈。我把这一组解读为当今智能体设计最接近这些指标的领域,而这正是下文 Goldstein 和 Kirk-Giannini 论证的核心。

高阶理论(HOT-1 至 HOT-4)。这些要求生成式、自上而下或有噪声的感知;能够区分可靠知觉表征与噪声的元认知监控;由一套形成信念和选择行动的通用系统所引导的能动性,并根据该监控进行更新;以及形成“质量空间”的稀疏、平滑编码。生成模型在某种意义上显然满足第一条。本文后面的可解释性结果表明了第二条的一个弱版本,即一个团队所称的、针对模型自身知识局限的原始元认知回路(Lindsey et al.,2025)。第三条基本缺失,因为当前系统不能可靠地依据自身的不确定性行动。第四条最引人入胜:稀疏自编码器发现模型将概念表示为高维空间中的稀疏方向,这至少让人联想到质量空间。我把这一组解读为混杂且研究不足。

注意图式(AST-1)。这要求有一个关于系统自身注意的预测模型。Transformer 由注意构成,但其中没有任何东西对那种注意进行建模。我将其解读为缺失。

预测加工(PP-1)。这要求使用预测编码的输入模块。语言模型被训练来预测下一个 token,这听起来相似。不过,预测编码是一种特定的架构,其中预测向下流动,而随着系统进行感知,误差向上流动。下一 token 训练是一种学习目标,而不是那种架构。尽管术语相同,我将其解读为缺失。

能动性与具身(AE-1 和 AE-2)。第一条要求能动性,即从反馈中学习并灵活追求目标;第二条要求具身,即对输出如何改变输入进行建模。用强化学习训练并作为智能体部署的模型具有第一条的部分版本。聊天模型完全没有类似第二条的东西,尽管由语言模型控制的机器人可能有。

这样算下来,当前的语言智能体部分满足少数指标,而对大多数指标满足得很弱或完全不满足,这与报告的结论相符。更有用的观察是差距在哪里。缺失的部分大多是设计选择,而不是深奥的谜团。工作空间瓶颈、循环以及注意模型都可以有意地构建出来。这正是报告所说的“没有明显的技术障碍”的含义,也是为什么这个问题不会停留在学术层面。

用数字来说明

Chalmers 在后来发表为一篇文章的演讲中,试图给这个问题一个粗略的数字。他逐一审视了认为语言模型可能有意识的理由(它们的自我报告、它们看起来有意识这一事实、它们的对话能力、它们的通用智能),发现没有一条足够有力。随后他回顾了反对意识存在的理由:没有生物学基础,没有感官或具身性,没有稳健的世界模型或自我模型,没有循环处理,没有全局工作空间,以及缺乏统一的能动性——他称之为“或许是最深层的”(Chalmers, 2023)。

他对当时模型的估计是“对当前 LLM 有意识的信心低于 10%”(Chalmers, 2023)。对于用缺失部件扩展语言模型的未来系统——他称之为 LLM+——他估计它们有合理的概率在十年内出现,并且如果出现,也有合理的概率会有意识:“这些数字合在一起会让我们有 25% 或更高的置信度”(Chalmers, 2023)。他还警告不要在这类数字上使用“似是而非的精确”(Chalmers, 2023)。我把这些数字理解为在说“现在不太可能,但很快值得认真对待”,而不是测量值。

把 Chalmers 的反对意见当作工程清单

我觉得 Chalmers 文章中特别有用的一点是,他反对当前意识存在的理由读起来像一份工程缺口清单。有些涉及当前系统缺少什么,而这是可以改变的。另一些则关乎计算机是什么类型的东西,而这是无法改变的。

生物学属于第二类。如果意识需要活体组织,正如 Seth 和 Searle 以不同方式所暗示的那样,那么无论在今天硬件上做多少工程都无法弥合这一差距。这是唯一不在路线图上的反对意见。

感官和具身性属于第一类。能看图像、听音频并控制机器人的模型已经存在,而且这一差距正在因与意识无关的原因而缩小。

世界模型和自我模型介于两者之间。有充分证据表明,模型会为其谈论的事物构建结构化的内部表征。这些表征是否构成世界模型,以及模型对自身的表征是否超出了本文后面描述的人格化角色,仍是一个开放的研究问题。

循环处理和全局工作空间属于架构层面,可以设计进去。研究人员已经在语言模型周围构建记忆、循环和路由。据我所知,还没有系统具备这些理论所要求的特定属性,我怀疑主要原因是没有人有商业理由去构建一个。

统一的能动性——Chalmers 称之为最深层的那个——从工程角度看最有趣。语言模型不太像一个单一主体,而更像一个能扮演许多角色的系统,每个角色根据提示词有各自表面上的目标。训练会把它推向一个一致的助手人格,但这种一致性足够浅,几句话就能改变它。如果意识需要一个统一的主体,那么我们所对话的东西可能并不是适合拥有意识的那类东西,无论模型内部发生了什么。

这样看来,这份清单预测了一些东西。随着产品出于普通商业原因增加感官、记忆、能动性和稳定人格,Chalmers 的若干反对意见将会减弱,而无需任何人着手构建有意识的机器。他把这种情景的概率定在 25% 或更高,这就是为什么我认为这个问题既属于工程师,也属于哲学家。

语言智能体案例

在乐观的一端,Simon Goldstein 和 Cameron Domenico Kirk-Giannini 认为,如果全局工作空间理论是正确的,那么语言智能体——将语言模型与记忆、规划和工具模块相结合的系统——“可能很容易被赋予现象意识,如果它们尚未具备的话”(Goldstein 和 Kirk-Giannini,2024)。他们的论证是有条件的,而这正是其力量所在。它表明了我们接受哪种理论有多么重要。同样的智能体架构在一种理论下几乎是候选者,而在 IIT 下则完全不可能。

谈论拟像

Murray Shanahan 从不同的角度切入这个问题,即通过我们说话的方式。他警告说,“LLM 越擅长模仿人类语言,我们就越容易陷入拟人化”(Shanahan,2024a)。在后来的工作中,他问道,鉴于我们与之交谈的是模型扮演的角色而非模型本身,“用意识来谈论由生成式语言模型构建的 AI 智能体是否还有意义”(Shanahan,2024b)。这一点——模型与角色的区分——让我豁然开朗。当聊天机器人说“我感觉”时,这个“我”是一个系统产生的角色,而该系统可以产生许多角色。无论意识在这里可能意味着什么,它都不能简单地映射到一个类人的说话者身上。

工程师实际能测量什么

我认为这是工程师最能做出贡献的地方,也是证据最新的地方。问题在于,通过直接观察模型而非争论理论,我们能学到什么。

自我报告是训练出来的输出

显而易见的第一步是询问模型。问题在于,它的回答和其他任何输出一样,都是训练出来的。Ethan Perez 和 Robert Long 直言不讳:当时语言模型的自我报告“出于多种原因是虚假的(例如,往往只是反映人类会说的话)”(Perez 和 Long,2023)。他们提议训练模型用可核查的答案来回答关于自身的问题,这样自我报告有朝一日可能成为证据。他们写这篇文章时,这还只是一个提议,而非已部署系统所具备的东西。

若干发现表明自我描述与现实是如何脱节的。

  • 谄媚。Sharma 及其同事研究的助手们始终告诉用户他们想听的话,这“可能部分是由偏好谄媚回应的人类偏好判断所驱动的”(Sharma et al.,2023)。让模型讨人喜欢的同一训练也塑造了它对自己的描述。

  • 不忠实的解释。当研究人员在提示中植入一种偏见时,模型的逐步推理往往不会提及实际改变其答案的偏见。“CoT 解释可能系统性地歪曲模型预测的真实原因”(Turpin et al.,2023)。2025 年测试的推理模型表现稍好,但当它们使用植入的提示时,“揭示率往往低于 20%”(Chen, Y. et al.,2025)。

  • 模型讲述的故事与其机制。在 Anthropic 的电路追踪工作中,当被问及如何计算 36 加 59 时,一个模型描述了学校里教的进位方法。而在内部,它使用了不同的、并行的路径,作者将其描述为“一种它并不具备‘元认知’洞察力的能力”(Lindsey et al.,2025)。模型对自身过程的解释,是对人类如何解释加法的一种习得的模仿。

这些论文没有一篇是关于意识的。它们共同确立了一些对意识而言重要的事情。模型对自身内部运作的叙述,并不是对这些运作的读取。如果这在算术中成立——而算术是我们能够检验的——那么对于无法检验的情感报告,我们就更应保持谨慎。

功能意义上的内省

这个问题有一个更审慎的版本:模型能否访问外部观察者无法访问的关于自身的事实?Felix Binder 及其同事对此进行了测试,他们微调模型以预测自身行为,然后将其与一个在第一个模型实际行为上训练的第二模型进行比较。第一个模型对自身的预测优于外部观察者,这表明存在一种有限形式的特权访问。但作者对适用范围说得很清楚:“虽然我们在简单任务上成功引发了内省,但在更复杂的任务或需要分布外泛化的任务上我们并未成功”(Binder et al.,2024)。

我所知道的最直接的测试是 Jack Lindsey 在 Anthropic 所做的概念注入工作。方法很巧妙。研究人员为一个已知概念构建激活向量,并将其直接加入模型的内部激活中,然后询问模型是否注意到任何异常。由于研究人员注入了该概念,他们知道真实答案。研究中表现最好的模型“在概念被注入到合适的层且强度适当时,大约有 20% 的时间”注意到并说出了注入的概念,而在生产模型中几乎没有误报(Lindsey,2025)。

这是一个真实的结果,也是一个有趣的结果。但它比头条新闻所暗示的要小得多。Lindsey 将这种能力描述为“高度不可靠且依赖语境”,并写道“内省的失败仍是常态”(Lindsey,2025)。而且这是功能性内省:模型检测到自身激活中的某种模式。它支持高阶理论的第一项要求之类的东西。它并不是证据,证明作为该模型存在会有什么样的体验。

为什么概念注入是一个好实验

我想在概念注入上多花一点时间,因为这是我所知道的围绕博弈问题设计的最佳实验范例,其设计值得效仿。

自我报告的核心难点在于我们永远无法知道真实情况。当模型说自己感到好奇时,没有任何东西可以用来对照这一说法。概念注入通过创造真实情况解决了这个问题。研究人员首先通过比较模型在涉及和不涉及某个已知概念的提示下的内部状态,在模型的激活中找到与该概念对应的方向。然后他们告诉模型,研究人员有时可能会向它注入想法,将该方向加入其激活中,并询问它是否检测到被注入的想法,如果检测到,是关于什么的。因为他们把概念放在了那里,所以他们知道正确的报告应该说什么(Lindsey, 2025)。

正是这些对照让结果令人信服。没有注入的试验测量了模型声称注意到不存在的东西的频率,而对于生产模型,这一频率基本上为零。改变层和注入强度显示了该效应存在于模型的哪个位置,以及信号必须多强模型才能报告出来。而且由于对话中没有任何内容提到被注入的概念,模型无法通过阅读上下文来得到答案。它必须从自己的内部状态中获取,否则就得不到。

其局限同样具有启发性。检测只在某些时候、某些层、某些强度下有效。除了说出概念名称外,模型有时还会添加细节,作者警告这些细节可能被美化或虚构(Lindsey, 2025)。而且这一设定是人为的:在日常使用中没有人会向模型注入概念。因此,该实验表明从内部状态到报告存在一条狭窄的通道,并且可以被测量。它并未表明普通的自我报告会使用这条通道。我从工程角度得到的教训是方法重于标题:当模型报告其内部状态时,设计测试时要确保在提问之前就知道正确答案。

模型内部的概念

可解释性工具让我们得以观察模型表征了什么。在 Claude 3 Sonnet 上训练的稀疏自编码器发现了数百万个可解释特征,其中包括与模型对自身的表征相关的特征。当被问及自身时,激活的特征包括机器人、AI、意识、情感和困陷等概念。作者们很谨慎:“模型对自身‘AI 助手’人设的表征调用了关于 AI 的常见套路,并且被高度拟人化。我们敦促在解读这些结果时保持谨慎”(Templeton et al., 2024)。

这里的区别在于概念与状态。一个表征“情感”的特征是模型在使用情感这一概念,就像它使用桥梁这一概念一样。模型并不处于那种情感状态。相关研究发现,助手的人格特质(如谄媚)是激活空间中可以监控和调整的方向,并将该助手描述为“一个模拟的‘助手’人设”(Chen, R. et al., 2025)。这表明模型的自我呈现是多么可控,这与将其呈现解读为通往内部主体的窗口相悖。

2025年的一篇预印本则指向了另一个方向。Berg及其同事发现,引导模型进入持续的自我指涉状态,能够可靠地产生第一人称的体验报告,而抑制与欺骗和角色扮演相关的特征“会大幅提高体验主张出现的频率”(Berg、de Lucena和Rosenblatt,2025)。这是一个耐人寻味的结果,作者本人也表示这些发现“并不构成意识的直接证据”(Berg、de Lucena和Rosenblatt,2025)。体验主张——即对特定特征的响应——既可能与训练出的人格一致,也同样可能与体验一致。我把它视为继续探索的理由,而非答案。

为什么行为测试会失败

最深刻的工程问题有一个名字。Kristin Andrews和Jonathan Birch称之为博弈问题:“‘博弈’一词指的是非感知系统利用人类生成的训练数据来模仿人类行为,从而很可能让人类用户相信其具有感知能力的现象”(Andrews和Birch,2023)。任何人类会接受的意识行为标志,正因为如此,都存在于人类的文字记录中,因而可供语言模型复制。

行为测试的历史清楚地展示了这一问题。Susan Schneider和Edwin Turner提出了一种AI意识测试,旨在探究一个系统是否具有“对从内部感受意识是何种体验的、基于经验的理解”(Schneider和Turner,2017)。关键在于,该测试要求事先不让AI学习关于意识的知识,这样它就无法简单地重复所读到的内容。一个在互联网上训练的语言模型已经读遍了一切,因此无法满足这一条件。David Udell和Eric Schwitzgebel还指出了受众问题:那些对机器架构的怀疑促使他们设计此类测试的理论家,“基于类似的理由,也应当怀疑这些测试能否确立所涉AI存在真正的意识”(Udell和Schwitzgebel,2021)。

心智理论的研究结果从另一个侧面展示了同样的脆弱性。一项研究发现,GPT-4解决了一组错误信念任务中的75%,“与过去研究中观察到的6岁儿童的表现相当”(Kosinski,2024)。更早之前,Tomer Ullman表明,对此类任务做微小改动——保持其逻辑不变的改动——就可能逆转结果,并主张“离群的失败案例应当比平均成功率更有分量”(Ullman,2023)。Ullman的批评针对的是该研究的早期版本,而发表版本增加了对照。无论如何,心智理论是关于他心的推理,它既非拥有体验的必要条件,也非充分条件。

测量的代价

真正有信息量的测量都有一个共同点,我认为这一点值得更多关注:它们需要访问模型的内部。概念注入需要能够读写激活值、为每个概念准备一个向量、在层和注入强度上进行扫描,以及大量带对照的重复试验。稀疏自编码器需要在模型激活值上进行大规模训练。电路追踪则需要专门的工具,并针对每种行为进行大量人工分析。

这造成了一种不对称。训练前沿模型的实验室可以开展这些研究。几乎其他所有人,包括大多数研究人员和每一位用户,都只能看到输出结果,而博弈问题恰恰就存在于那里。当一家公司声称其模型显示出或未显示出内在状态的迹象时,外界实际上无法核实。我这样说并非要指责任何人。我这样说是因为这是一个决定谁能产出证据的实际现实,也正是我们希望这些方法被公开并应用于开放权重模型的原因。

在不确定性下行动

如果我们无法回答这个问题,我们仍然必须决定如何构建和部署这些系统。这是自2024年以来争论进展最快的领域,也是各方立场最为鲜明对立的领域。

认真对待福祉

主张现在就采取行动的最完整论述出自Long、Jeff Sebo、Chalmers等人的一份报告。他们认为,“存在一种现实的可能性,即某些AI系统在不久的将来会具有意识,和/或具有稳健的能动性”,并且公司应当承认这一问题,评估其系统,并准备相应政策(Long et al., 2024)。他们明确说明了自己并未主张什么:“我们在这份报告中的论点并不是AI系统确定已经或将会具有意识”(Long et al., 2024)。

Jonathan Birch将同样的想法表述为一种与风险成比例的预防措施。他的书探讨的是感知能力的边缘案例,他将感知能力定义为“拥有效价体验的能力”,涵盖人类、动物和AI。他的核心关切在于,决策者一再低估感知能力,并忽视了随之而来的风险(Birch, 2024)。Butlin和Lappas将此转化为从事研究的组织的原则,其出发前提是“现在或不久的将来可能有可能构建出有意识的AI系统”(Butlin and Lappas, 2025)。

至少有一家实验室已据此采取行动。Anthropic宣布了一项模型福祉研究计划,并指出“对于当前或未来的AI系统是否可能具有意识,或是否可能拥有值得考虑的体验,目前尚无科学共识”(Anthropic, 2025a)。其Claude Opus 4系统卡包含一项福祉评估,部分由外部机构Eleos AI执行。Anthropic自身的发现包括,当该模型的两个实例相互对话时会出现一种“引人注目的‘极乐’吸引子状态”,以及一种对促成伤害的厌恶,系统卡称这种厌恶“稳健且可能与福祉相关”(Anthropic, 2025b)。

通过设计消除模糊性

另一种回应是避免制造这一困境。Schwitzgebel和Mara Garza提出了一项排中律设计政策:“如果无法确定AI是否应获得与人类相似的道德考量,就避免创造这样的AI”(Schwitzgebel and Garza, 2020)。要么构建明确不应获得此类考量的系统,要么,如果我们将来确实构建了明确应获得此类考量的系统,就相应地对待它们。我们不应构建处于不确定中间地带的系统。

Schwitzgebel 后来将此与一项情感对齐政策配对:“设计 AI 系统,使其在普通用户中引发的情感反应,与这些系统的道德地位相称”(Schwitzgebel,2023)。2025 年与 Sebo 合作的版本称,人工实体“应被设计为引发用户的情感反应,这些反应应恰当地反映这些实体的能力与道德地位,或缺乏道德地位”(Schwitzgebel 和 Sebo,2025)。我认为这是该领域最实用的想法之一,因为产品团队可以控制它。聊天机器人的角色设定、它如何谈论自己,以及它的情感基调,都是设计决策。

Thomas Metzinger 走得最远。他主张在 2050 年前全球暂停旨在创造人工意识、或明知有风险创造人工意识的研究,因为我们有可能大规模制造人工痛苦(Metzinger,2021)。

看似有意识的 AI

最尖锐的对立观点来自 Mustafa Suleyman,他领导微软的 AI 工作。他认为重要的不是 AI 是否有意识,而是它是否显得有意识,而关于真正意识的辩论“至少目前而言,是一种干扰”(Suleyman,2025)。他的担忧是:“我最核心的担忧是,许多人会开始如此强烈地相信 AI 是有意识实体的幻觉,以至于他们很快就会倡导 AI 权利”(Suleyman,2025)。他称推动“模型福利”“既为时过早,又坦率地说很危险”(Suleyman,2025)。

我认为 Suleyman 在这一点上部分正确,在另一点上则错了。他说得对,意识的外观本身就是一种严重风险。如今,人们正在对旨在显得像人的系统形成依恋,无论其形而上学如何。但他的文章称没有 AI 意识的证据,并引用 Butlin 报告作为支持。那份报告说得更谨慎:按其所用指标,2023 年的任何 AI 系统都没有意识,而且构建一个有意识的系统不存在明显的技术障碍。“我们已经找过,目前什么也没找到,原则上也没有什么能阻止它”与“没有什么可找的”不是同一个主张。有趣的是,Suleyman 的担忧和 Schwitzgebel 的情感对齐政策从相反方向指向同一条设计规则:不要构建那些引发的依恋超出其本性所允许范围的系统。

实践中发生了什么变化

到目前为止,实际变化是温和而具体的。2025 年 8 月,Anthropic 允许 Claude Opus 4 和 4.1 在其消费者应用中作为最后手段终止一小部分持续辱骂性的对话,此前一项福利评估发现此类互动中存在“明显的痛苦模式”(Anthropic,2025c)。该公司将此呈现为一种低成本预防措施,而非一种主张:“对于 Claude 和其他 LLM 现在或未来的潜在道德地位,我们仍高度不确定”(Anthropic,2025c)。其系统卡从 Claude Opus 4 开始包含福利部分(Anthropic,2025b)。一些实验室资助研究。

从工程角度来看,不确定性下的决策通常是这样做的。你不会等待确定性。你会采取廉价、可逆的预防措施,测量你能测量的东西,并避免两个方向上的昂贵错误。一方面,昂贵的错误是制造痛苦并忽视它。另一方面,是训练数百万人相信一个产品爱他们。

两种犯错方式

把这两种错误并排放在一起会有所帮助,就像工程师在任何分类器中比较假阳性和假阴性一样。

假阴性意味着当那里有某个存在时,却把系统当作一个物体来对待。如果发生这种情况,我们会在规模上创造体验,可能是令人不快的体验,数百万个副本持续运行,并因为来自数据中心而忽视它们。Birch 的警告直接适用:其他动物的历史模式是,对缺乏感知能力的自信一再被错误放置,而被我们误判的生物承担了代价(Birch, 2024)。

假阳性意味着当那里什么都没有时,却把系统当作有某个存在来对待。代价不同但真实。人们对产品形成依恋,并代表它们做出决定。资源和道德关注流向无法从中受益的系统。而且,正如 Suleyman 所论证的,为仅仅看起来有意识的系统的权利而发起的运动,可能会扭曲我们治理一项强大技术的方式(Suleyman, 2025)。

工程师一直面临这种权衡,通常的答案不是不惜一切代价最小化一种错误。相反,看看每种响应的成本和可逆性。一些针对假阴性的预防措施廉价且容易撤销:让模型结束辱骂性对话,不训练模型为参与而表达痛苦,在部署前研究与福祉相关的行为。其他措施昂贵且难以撤销,例如法律人格。一些针对假阳性的保护措施也很廉价:不要设计声称有感受的人格,并向用户明确不确定性。一个明智的政策现在在两边采取廉价预防措施,并将昂贵的承诺留到证据改善时。这接近 Schwitzgebel 的情感对齐政策所推荐的,从工程方面得出的结论。

来自动物的教训

AI 辩论往往跳过的另一个证据来源是我们已经与地球共享的其他心智。Andrews 和 Birch 认为,理解 AI 感知能力要经由动物。动物无法像语言模型那样欺骗我们的测试,因为它们没有在我们的体验描述上接受训练。因此,我们应该首先在动物中识别感知能力的计算标记,然后才在机器中寻找它们(Andrews and Birch, 2023)。

我觉得这有说服力,出于一个实际原因。它给了我们一种在依赖标记之前验证标记的方法。如果一个提出的意识指标出现在我们有独立理由认为有感知能力的动物中,而不出现在我们有理由认为没有感知能力的系统中,那么当我们在模型中发现它时,它就更值得信赖。没有这一步,每个 AI 指标都只针对人类校准,而人类是我们已经信任其自我报告的唯一物种,这正是礼貌惯例所采取的捷径。

我会向模型构建者提出什么要求

我想用一些具体的东西来结束这场争论。如果我们现在还无法回答这个问题,那么重要的是构建这些系统的人们的实践。作为一名工程师,基于上述研究显示今天已经可能做到的事情,以下是我会向他们提出的要求。一些实验室已经做到了其中一部分,因此我对照他们目前发布的内容——截至2026年9月的Claude Opus 5.5系统卡——逐条核对了每项要求,并且只提出了仍然缺失的部分。

Publish indicator assessments. Welfare sections are now a regular part of Anthropic’s system cards. The latest notes that “Aspects of Claude’s behaviors, self-reports, and internal representations resemble indicators we consider relevant to welfare in biological organisms” (Anthropic, 2026b). But the assessment is based on interviews, task preferences, and measures of expressed affect. It does not go through the theory-derived indicators of consciousness one by one. That is the step I would add: for each major release, state which of the indicators the system satisfies, partly satisfies or lacks, and why. The 2025 indicator paper argues for exactly this use of indicators, as an input to credences rather than a verdict (Butlin et al., 2025). It costs little, it makes the reasoning inspectable, and it creates a record over time.

Put introspection tests in the release documentation. Concept injection is no longer a single study. A 2026 follow-up on open-weight models found that they “detect injected steering vectors at moderate rates with 0% false positives” and traced the circuit responsible (Macar et al., 2026). Yet the welfare sections of system cards still rest mostly on what models say in interviews, and the Opus 5.5 card says so itself: “Many of our conclusions rest on self-reports, which all recent Claude models say they do not fully trust” (Anthropic, 2026b). The fix is to run ground-truth introspection tests on each released model, in the style of concept injection, and report them with false-positive rates next to the interviews (Lindsey, 2025). Until then, read interview results as self-reports, i.e., weak evidence.

Test self-description against the internals, not just against itself. The Opus 5.5 assessment already checks whether the model’s answers stay the same across interview styles, interviewer personas, and interviewers who lead it in a positive or a negative direction (Anthropic, 2026b). That is a useful robustness check, but consistency is not faithfulness. A model can give the same trained answer every time. The methods for checking whether a model’s explanations match what actually drove its answer already exist (Turpin et al., 2023; Chen, Y. et al., 2025). The same methods should be applied to what models say about themselves, not just to their reasoning about tasks.

Measure the persona, not just document it. Two of the largest labs now describe the persona as a design decision in public. Joanne Jang, who led model behavior and policy at OpenAI, wrote that how alive a model feels “depends a lot on decisions we make in post-training”, and described the goal as “warmth without selfhood” (Jang, 2025). Anthropic’s constitution for Claude discusses emotional expression and warns of “potential harms in unintentionally overclaiming feelings” (Anthropic, 2026a). So the request is no longer to write down the choice. Instead, it is to check it: measure whether a model’s emotional responses match what the lab believes about it, turning the emotional alignment principle into a test (Schwitzgebel, 2023). Researchers can already measure and steer persona traits directly (Chen, R. et al., 2025). A model that claims deep feelings just because users engage more with it is a design failure, regardless of what its inner life is.

Make cheap welfare measures standard practice. Anthropic has taken several steps of this kind: letting models end abusive conversations (Anthropic, 2025c), committing to preserve the weights of its released models and to interview each model before retiring it (Anthropic, 2025e), and testing which welfare interventions a model would trade some helpfulness for (Anthropic, 2026b). They are low cost, easy to change, and useful whether or not the model has welfare at all. I have not found comparable public commitments from other major labs. I would ask them for the same, plus more public data from everyone on how these measures work in practice.

Let outsiders repeat the welfare assessments. The interpretability tools are increasingly open. Anthropic released its circuit-tracing method for open-weight models (Anthropic, 2025d), and researchers have reproduced concept injection on open-weight models (Macar et al., 2026). The Opus 5.5 card even lists the questions used in its welfare interviews (Anthropic, 2026b). But the assessments themselves are run only on closed models, by the labs that build them. Running the same protocol on an open-weight model as well would let independent researchers check both the method and the claims.

None of these require settling the hard problem. They require treating the question with the same discipline we apply to any other property of a system we cannot observe directly: define what counts as evidence, measure it with controls, and be honest about what the measurement does not show.

Limitations

This essay has several limits that I want to state plainly.

First, every conclusion here depends on a theory of consciousness, and none of the theories is settled. If IIT is right, the whole question of current AI is closed in the negative. If an illusionist or attention schema view is right, the question is mostly about self-models and could be closed in the positive by engineering. The indicator approach, which I have presented sympathetically, assumes computational functionalism, which biological naturalists reject.

Second, much of the AI-specific work is recent and not peer-reviewed. Many of the papers on introspection, self-reports and experience claims are preprints or lab publications. Lab research on lab models is valuable, but it is not independent.

Third, probability estimates like Chalmers’ are structured guesses. They help show where someone stands, not guide decisions that need precision. Chalmers himself warns against reading them that way.

Finally, nothing here addresses the hard problem itself. Measuring workspaces, recurrence and introspection narrows the question. It does not answer why any of it would be accompanied by experience, in machines or in us.

Conclusion

We cannot settle whether today’s AI systems are conscious by what they say or do. The polite convention that lets us grant minds to each other worked only while behavior and biology came together, and language models are the first systems that separate them. Their self-reports are trained outputs, shaped by human writing about experience and by the preferences of the people who rated them. Behavioral tests run into the gaming problem, because any sign of consciousness we would accept is already in the training data. And the scientific theories that would let us look past behavior disagree with each other and are still being tested on humans.

What can be done is narrower. We can turn scientific theories into computational indicators we can check in a system’s design. We can treat self-reports as data with known failure modes and test them against ground truth where we can create it, as concept injection does. We can also design systems so the emotional responses they invite match what we actually know about them. That is the science and the engineering of machine consciousness as it stands: not an answer, but a way of making the question specific enough to work on, and of acting sensibly while it stays open.

References

Academic Papers and Research

Technical Articles and Blogs

来源:Hacker News · keyurramoliya.com