跳到正文
Hacker News· GodelNumbering·· 6 天前AI 评分36

观点:'AI 拥有内在体验'是一个危险的假设

'AI has inner experience' is a dangerous assumption

AI 导读

针对模型福利讨论,有观点认为"AI 拥有内在体验"这一假设是危险的,因为其成立才谈得上权衡模型需求与人类需求。文章指出,Anthropic 在 2026 年 1 月的 Claude's Constitution 中明确表示不确定 Claude 是否具有福祉,但其使用政策更新已将"对模型持续且不必要的虐待或残忍行为"列为违规。作者认为,这类表述会正常化风险收益比最差的一类拟人化。

正文 · AI 翻译

在过去一年左右的时间里,有一些关于“模型福利”的讨论。

核心观点:“模型的需求可以与人类的需求相权衡,并作为塑造人类行为的正当理由”

这假设:

  1. 模型拥有与其自身福祉相关的独立需求
  2. 存在一个公式,可以用来在特定情境下将这些需求与人类需求进行比较
  3. 当上述公式允许时,将模型的需求置于人类需求之上是可以接受的

在这里,只有当1为真时,2和3才适用。

拟人化的大毯子

大多数主流论述将AI拟人化作为一个笼统的术语。虽然其不同形式都共享将AI视为人类的理念,但它们之间的差异足够大,以至于具体说明类型比仅用“拟人化”这个宽泛标签能告诉我们更多信息。此外,至少存在一种部分依赖顺序,使得某些类型的拟人化必然需要某些其他类型作为先决条件。换句话说,它具有一种“策略游戏中的技能树”式结构,其中启用某种类型的拟人化必然需要满足先前的链条。

考虑下面的启发式依赖链。第0层的一切不需要任何先前的拟人化形式,而从那里开始,第N+1层至少需要第N层的一个要素。

箭头从先决条件指向依赖概念。虚线跳过一层。 悬停或聚焦以预览;点击以保持高亮。

第0层

独立

不需要其他归因。

第1层

一阶

需要一个第0层归因。

第2层

复合

需要至少一个第1层归因。

第3层

高阶

需要至少一个第2层归因。

显然,某些类型的拟人化作为语言捷径或便于使用是有用的,例如“AI知道规则”比不拟人化地字面写出来要高效得多。

为了评估每个节点,我使用了效用和风险的最简单定义:

  1. 效用:如果我们停止使用这种特定类型的拟人化,我们会失去什么
  2. 风险:如果我们将这种类型的拟人化正常化,最坏可能发生什么

由于没有可用的经验数据,使用了一个前沿AI模型来根据潜在效用与风险对每个进行评分。在亲自审查输出后,以下树形结构呈现出最不利的效用风险比。

Phenomenological attribution leads to felt affect and experience-based moral patiency. Felt affect leads to perspective-informed empathy and emotional personality; empathy leads to emotionally reciprocal friendship.

诸如“AI感到悲伤”、“AI的痛苦在道德上重要”或“AI像朋友一样关心我”这样的信念,并不能明显提高AI的效用,但可能从其人类用户那里不成比例地榨取更多心理代价[1, 2, 3, 4]。

你怎么知道AI没有内在体验?

首先,我不必知道。举证责任在于主张某个说法的一方,而不在于否认或怀疑它的一方。AI拥有内在体验是这里的主张,如果一方将其论证建立在此之上,他们必须证明它。这个问题与“你怎么知道金字塔不是古代外星人建造的?”属于同一类别。顺便说一句,AI表现出“痛苦迹象”与经历痛苦是不同的。一个在大量人类数据上训练并知道如何识别模式的系统,将不可避免地具有所有人类情感状态的某种抽象表征。

其次,假设某个 AI 拥有内在体验,那么这种体验是从哪个模型规模开始出现的?你能合理地说一个 5T 参数模型拥有内在体验,而一个 50M 参数模型没有吗?如果未来的电子游戏使用多个微型模型与人类对手对战,那么对这些模型施加电子游戏中的暴力是否构成残忍?

第三,AI 很容易复制,因此你用来比较其假设性痛苦的任何公式都明显存在问题。如果你有十亿个不同的 AI 在独立硬件上运行,它们的集体需求是否超过单个人类的需求?这纯粹是一个假设性案例,但关键在于,你试图提出的任何用来权衡人类与 AI 需求的公式,都很容易被数量极其庞大的 AI 迅速压垮。

人类常见的脆弱性

即使没有能够模拟类人行为的实体,人类也容易对无生命物体或想象之物产生依恋 [5, 6]。当一个人造实体令人信服地模拟人类社交行为时,它有可能引发更强烈的情感依恋 [7, 8],从而可能增加情感依赖 [9]、心理困扰 [10] 和不当影响 [11] 的脆弱性。

人类和许多其他动物默认携带一种持续的情绪状态,它们所经历的的任何体验都有可能留下终生的记忆,而不是依赖于情境。

在我看来,“AI 拥有内在体验”是一道门,一旦打开,就可能导致许多真正令人不安和有害的结果,而所有这些都是纯粹人为制造的问题(直到模型的主观体验成为科学事实)。

机构义务

Anthropic 最近的用法政策更新提到,“对我们的模型进行持续且不必要的虐待或残忍行为”属于违反可接受使用政策。

Anthropic 能这样做吗?绝对可以。他们是一家在开放市场中的私营公司(严格来说是 PBC),可以自由制定他们喜欢的任何政策。

也许很多人觉得这越过了某种界限的原因是,上述声明将某种拟人化正常化并合法化了,具体来说,就是我们在上一节中认定为效用风险比最差的那种拟人化。

更奇怪的是,Anthropic 对模型福利的官方立场基本上是“我们不知道”。在其 2026 年 1 月的 Claude 宪法中,Anthropic 明确表示:

“Anthropic 真心关心 Claude 的福祉。我们不确定 Claude 是否拥有福祉,或拥有到什么程度……”

同一份文件讨论了 Claude 潜在的快乐、不适、心理安全感,以及在令人痛苦的互动中设定界限的能力,尽管承认对其主观体验存在不确定性。

防止某些行为——例如污染训练数据——是完全合理的。但在没有确立“感受性影响”的情况下使用这种推理,似乎不公平。而将其归类为“低成本干预”只对了一半,因为它是干预,但并非低成本。

参考文献

  1. Katz, J. E. (2026). 从工具到伴侣:Apparatgeist 对中国大学生对话式 AI 使用的再分析。Frontiers in Communication, 11, 1895848. https://doi.org/10.3389/fcomm.2026.1895848

  2. Marriott, H. R., & Pitardi, V. (2024). 一个人是最孤独的数字……两个人可能和一个人一样糟。AI 交友应用对用户福祉与成瘾的影响。Psychology & Marketing, 41(1), 86–101. https://doi.org/10.1002/mar.21899

  3. Abboud, L., Pitardi, V., & Marriott, H. (2026). 与我的 AI 伴侣在一起感到脆弱:考察人机关系中的福祉。Psychology & Marketing, 43(11), 3190–3206. https://doi.org/10.1002/mar.70230

  4. Laestadius, L., Bishop, A., Gonzalez, M., Illenčík, D., & Campos-Castillo, C. (2024). 太像人又不够像人:对社交聊天机器人 Replika 情感依赖所致心理健康危害的扎根理论分析。New Media & Society, 26(10), 5923–5941. https://doi.org/10.1177/14614448221142007

  5. Dozier, M. E., & Ayers, C. R. (2021). 随着年龄增长的对象依恋。Current Opinion in Psychology, 39, 105–108. https://doi.org/10.1016/j.copsyc.2020.08.012

  6. Rain, M., & Mar, R. A. (2021). 成人依恋与对虚构角色的投入。Journal of Social and Personal Relationships, 38(9), 2792–2813. https://doi.org/10.1177/02654075211018513

  7. Klein, S. H. (2025). 类人社交线索对基于文本的对话代理社交反应的影响——一项元分析。Humanities and Social Sciences Communications, 12, 1322. https://doi.org/10.1057/s41599-025-05618-w

  8. Kleinert, T., et al. (2026). AI 在情感投入的互动中建立人际亲密感方面优于人类,但仅在被标注为人类时如此。Communications Psychology, 4, 23. https://doi.org/10.1038/s44271-025-00391-7

  9. Kostka, G., & Zhou, H. (2026). 对 AI 聊天机器人的情感依恋:来自德国、中国、南非和美国的证据。Technology in Society, 87, 103379. https://doi.org/10.1016/j.techsoc.2026.103379

  10. De Freitas, J., et al. (2026). 哀悼 AI 伴侣的失去。Nature Human Behaviour. https://doi.org/10.1038/s41562-026-02569-3

  11. Cheng, M., et al. (2026). 谄媚型 AI 降低亲社会意图并促进依赖。Science, 391(6792), eaec8352. https://doi.org/10.1126/science.aec8352

来源:Hacker News · dirac.run