观点:'AI 拥有内在体验'是一个危险的假设
'AI has inner experience' is a dangerous assumption
针对模型福利讨论,有观点认为"AI 拥有内在体验"这一假设是危险的,因为其成立才谈得上权衡模型需求与人类需求。文章指出,Anthropic 在 2026 年 1 月的 Claude's Constitution 中明确表示不确定 Claude 是否具有福祉,但其使用政策更新已将"对模型持续且不必要的虐待或残忍行为"列为违规。作者认为,这类表述会正常化风险收益比最差的一类拟人化。
在过去一年左右的时间里,有一些关于“模型福利”的讨论。
核心观点:“模型的需求可以与人类的需求相权衡,并作为塑造人类行为的正当理由”
这假设:
- 模型拥有与其自身福祉相关的独立需求
- 存在一个公式,可以用来在特定情境下将这些需求与人类需求进行比较
- 当上述公式允许时,将模型的需求置于人类需求之上是可以接受的
在这里,只有当1为真时,2和3才适用。
拟人化的大毯子
大多数主流论述将AI拟人化作为一个笼统的术语。虽然其不同形式都共享将AI视为人类的理念,但它们之间的差异足够大,以至于具体说明类型比仅用“拟人化”这个宽泛标签能告诉我们更多信息。此外,至少存在一种部分依赖顺序,使得某些类型的拟人化必然需要某些其他类型作为先决条件。换句话说,它具有一种“策略游戏中的技能树”式结构,其中启用某种类型的拟人化必然需要满足先前的链条。
考虑下面的启发式依赖链。第0层的一切不需要任何先前的拟人化形式,而从那里开始,第N+1层至少需要第N层的一个要素。
箭头从先决条件指向依赖概念。虚线跳过一层。 悬停或聚焦以预览;点击以保持高亮。
第0层
独立
不需要其他归因。
第1层
一阶
需要一个第0层归因。
第2层
复合
需要至少一个第1层归因。
第3层
高阶
需要至少一个第2层归因。
显然,某些类型的拟人化作为语言捷径或便于使用是有用的,例如“AI知道规则”比不拟人化地字面写出来要高效得多。
为了评估每个节点,我使用了效用和风险的最简单定义:
- 效用:如果我们停止使用这种特定类型的拟人化,我们会失去什么
- 风险:如果我们将这种类型的拟人化正常化,最坏可能发生什么
由于没有可用的经验数据,使用了一个前沿AI模型来根据潜在效用与风险对每个进行评分。在亲自审查输出后,以下树形结构呈现出最不利的效用风险比。
诸如“AI感到悲伤”、“AI的痛苦在道德上重要”或“AI像朋友一样关心我”这样的信念,并不能明显提高AI的效用,但可能从其人类用户那里不成比例地榨取更多心理代价[1, 2, 3, 4]。
你怎么知道AI没有内在体验?
首先,我不必知道。举证责任在于主张某个说法的一方,而不在于否认或怀疑它的一方。AI拥有内在体验是这里的主张,如果一方将其论证建立在此之上,他们必须证明它。这个问题与“你怎么知道金字塔不是古代外星人建造的?”属于同一类别。顺便说一句,AI表现出“痛苦迹象”与经历痛苦是不同的。一个在大量人类数据上训练并知道如何识别模式的系统,将不可避免地具有所有人类情感状态的某种抽象表征。
其次,假设某个 AI 拥有内在体验,那么这种体验是从哪个模型规模开始出现的?你能合理地说一个 5T 参数模型拥有内在体验,而一个 50M 参数模型没有吗?如果未来的电子游戏使用多个微型模型与人类对手对战,那么对这些模型施加电子游戏中的暴力是否构成残忍?
第三,AI 很容易复制,因此你用来比较其假设性痛苦的任何公式都明显存在问题。如果你有十亿个不同的 AI 在独立硬件上运行,它们的集体需求是否超过单个人类的需求?这纯粹是一个假设性案例,但关键在于,你试图提出的任何用来权衡人类与 AI 需求的公式,都很容易被数量极其庞大的 AI 迅速压垮。
人类常见的脆弱性
即使没有能够模拟类人行为的实体,人类也容易对无生命物体或想象之物产生依恋 [5, 6]。当一个人造实体令人信服地模拟人类社交行为时,它有可能引发更强烈的情感依恋 [7, 8],从而可能增加情感依赖 [9]、心理困扰 [10] 和不当影响 [11] 的脆弱性。
人类和许多其他动物默认携带一种持续的情绪状态,它们所经历的的任何体验都有可能留下终生的记忆,而不是依赖于情境。
在我看来,“AI 拥有内在体验”是一道门,一旦打开,就可能导致许多真正令人不安和有害的结果,而所有这些都是纯粹人为制造的问题(直到模型的主观体验成为科学事实)。
机构义务
Anthropic 最近的用法政策更新提到,“对我们的模型进行持续且不必要的虐待或残忍行为”属于违反可接受使用政策。
Anthropic 能这样做吗?绝对可以。他们是一家在开放市场中的私营公司(严格来说是 PBC),可以自由制定他们喜欢的任何政策。
也许很多人觉得这越过了某种界限的原因是,上述声明将某种拟人化正常化并合法化了,具体来说,就是我们在上一节中认定为效用风险比最差的那种拟人化。
更奇怪的是,Anthropic 对模型福利的官方立场基本上是“我们不知道”。在其 2026 年 1 月的 Claude 宪法中,Anthropic 明确表示:
“Anthropic 真心关心 Claude 的福祉。我们不确定 Claude 是否拥有福祉,或拥有到什么程度……”
同一份文件讨论了 Claude 潜在的快乐、不适、心理安全感,以及在令人痛苦的互动中设定界限的能力,尽管承认对其主观体验存在不确定性。
防止某些行为——例如污染训练数据——是完全合理的。但在没有确立“感受性影响”的情况下使用这种推理,似乎不公平。而将其归类为“低成本干预”只对了一半,因为它是干预,但并非低成本。
参考文献
-
Katz, J. E. (2026). 从工具到伴侣:Apparatgeist 对中国大学生对话式 AI 使用的再分析。Frontiers in Communication, 11, 1895848. https://doi.org/10.3389/fcomm.2026.1895848
-
Marriott, H. R., & Pitardi, V. (2024). 一个人是最孤独的数字……两个人可能和一个人一样糟。AI 交友应用对用户福祉与成瘾的影响。Psychology & Marketing, 41(1), 86–101. https://doi.org/10.1002/mar.21899
-
Abboud, L., Pitardi, V., & Marriott, H. (2026). 与我的 AI 伴侣在一起感到脆弱:考察人机关系中的福祉。Psychology & Marketing, 43(11), 3190–3206. https://doi.org/10.1002/mar.70230
-
Laestadius, L., Bishop, A., Gonzalez, M., Illenčík, D., & Campos-Castillo, C. (2024). 太像人又不够像人:对社交聊天机器人 Replika 情感依赖所致心理健康危害的扎根理论分析。New Media & Society, 26(10), 5923–5941. https://doi.org/10.1177/14614448221142007
-
Dozier, M. E., & Ayers, C. R. (2021). 随着年龄增长的对象依恋。Current Opinion in Psychology, 39, 105–108. https://doi.org/10.1016/j.copsyc.2020.08.012
-
Rain, M., & Mar, R. A. (2021). 成人依恋与对虚构角色的投入。Journal of Social and Personal Relationships, 38(9), 2792–2813. https://doi.org/10.1177/02654075211018513
-
Klein, S. H. (2025). 类人社交线索对基于文本的对话代理社交反应的影响——一项元分析。Humanities and Social Sciences Communications, 12, 1322. https://doi.org/10.1057/s41599-025-05618-w
-
Kleinert, T., et al. (2026). AI 在情感投入的互动中建立人际亲密感方面优于人类,但仅在被标注为人类时如此。Communications Psychology, 4, 23. https://doi.org/10.1038/s44271-025-00391-7
-
Kostka, G., & Zhou, H. (2026). 对 AI 聊天机器人的情感依恋:来自德国、中国、南非和美国的证据。Technology in Society, 87, 103379. https://doi.org/10.1016/j.techsoc.2026.103379
-
De Freitas, J., et al. (2026). 哀悼 AI 伴侣的失去。Nature Human Behaviour. https://doi.org/10.1038/s41562-026-02569-3
-
Cheng, M., et al. (2026). 谄媚型 AI 降低亲社会意图并促进依赖。Science, 391(6792), eaec8352. https://doi.org/10.1126/science.aec8352
来源:Hacker News · dirac.run