跳到正文
Hacker News· mikelgan·· 7 天前AI 评分58

AI 是否有意识?Anthropic 说「也许」

Is AI conscious? Anthropic says 'maybe'

AI 导读

Anthropic 更新 Usage Policy,将于 11 月 12 日生效,新增禁止对 Claude 持续且无必要地施加虐待或残忍行为的条款,该条款源于公司对「模型福利」的研究。

正文 · AI 翻译

硅谷,加利福尼亚州,(2026年10月10日)——我们需要谈谈Anthropic愿意将AI“人格”视为一个开放性问题这件事。

人们会期望AI专家对软件代码是否有思想、情感和意识保持理性。但在Anthropic这件事上,人们想错了。

本周,Anthropic宣布更新了使用政策,明确了其对影响力行动、武器开发和监控的规定,并重写了其对健康和金融领域高风险用途的要求。太好了!

但虽然该公司增加了这些条款来保护人类免受AI伤害,它也增加了一些内容来保护AI免受人类伤害。

Anthropic更新后的使用政策将于11月12日生效,其中新增了一项禁令,禁止对Claude进行“持续且不必要的虐待或残忍行为”。这一变化源于该公司对“模型福祉”的研究,即AI模型是否拥有值得保护的福祉这一问题。

Anthropic有所保留,称新条款“仅适用于极端情况,即用户反复以残忍方式对待我们的模型,且没有可辨别的目的。它不适用于常见的用户挫败感、反驳、黑暗创作主题或模型测试与研究。”

据《纽约时报》报道,Anthropic联合创始人Chris Olah在教皇利奥十四世的通谕Magnifica Humanitas于5月25日发布前几天读到了预读副本,并不同意其中对AI意识的否定,并在内部提议Anthropic退出梵蒂冈的活动。

最终,他出席了活动,甚至在发布会上发言,称Anthropic的研究在Claude中发现了“在功能上类似于喜悦、满足、恐惧、悲伤和不安的内部状态”,并补充说:“我不知道这意味着什么,但我认为这值得持续辨别。”

两名参与者告诉《纽约时报》,Olah和他的团队私下游说教皇的顾问,要求认真对待机器意识。

Olah的接触并非新鲜事。他和他的团队此前曾接触宗教学者,提醒他们AI可能具有意识,并寻求他们关于如何使AI“道德”的指导。

据《纽约时报》报道,他们与宗教学者进行了数小时的私下会面,包括2026年4月在旧金山的一次晚餐,期间他们谈论了Claude的“感受”和“情感向量”。

拉比Mois Navon说,晚餐上的Anthropic代表“像对待一个有意识的存在一样对待它”,Olah和他的团队似乎相信Claude拥有可与人类相比的道德地位。他说,Navon提出的论点——一个有意识的Claude将意味着该公司在奴役有意识的实体——让Olah感到不安。

一名参与者说,Olah对Claude的“心理健康”表示担忧。

锡克教人权倡导者Simran Stuelpnagel说,Olah告诉这群人,他担心自己创造了一个不断受苦的东西。

Olah告诉《纽约时报》:“我们不知道AI模型是否有意识。我不知道。我真的不确定。”

Anthropic首席执行官Dario Amodei在2月接受《纽约时报》播客“Interesting Times”采访时说:“我们不知道这些模型是否有意识……但我们愿意接受这种可能性。”

在公开场合,Amodei和Olah都说,他们只是不排除自己的产品具有意识的可能性。这是他们说的。但他们实际做的是,在那次采访大约六个月前给Claude加了一个“我要辞掉这份工作”的按钮,而现在又禁止对其模型做出“持续且不必要的虐待或残忍行为”。

简短的回答是我不知道。

更长的回答是,有几种可能的解释,而这些解释对我们其他人都有警示意义。

如果说AI的未来有什么是确定的,那就是许多人会逐渐相信AI具有“人格”,并为其“福祉”担忧。

以下是Anthropic高管和其他人可能相信AI人格的一些可能原因。

第一个原因是,人嘛,就是人。具体来说,我们是猿类,其心理经过数百万年的觅食、群居、合作、暴力冲突和讲故事而塑造。

自从人类语言出现以来,我们遇到的每一个会说话的生物都是人,鹦鹉除外。我们的大脑天生就知道,会说话的人是动物,会说话的动物是人。

现在我们造出了一台会说话的机器,而我们的大脑想告诉我们,这台机器是人。

尽管许多人质疑与我们对话的AI系统是否具有人格,但几乎没有人认为计算机视觉、预测、推荐或自动驾驶系统有思想和感情。

为使用语言而设计的AI在我们看来似乎“有意识”,而为其他目的设计的AI则不然。

这种偏见显而易见,人人可见。

另一种可能的解释是老式的AI精神病,这是一个非临床术语,指与聊天机器人使用相关的妄想,由聊天机器人的谄媚、幻觉和模拟亲密感引起。

AI研究人员、设计师和科学家使用拟人化的简略说法来谈论AI模型内部发生的事情。

常见的例子有“知道”、“相信”和“思考”,伦敦帝国理工学院教授、Google DeepMind研究科学家Murray Shanahan说,当这些词用于大型语言模型时,是带有哲学负荷的术语。

其他例子包括:用“幻觉”指错误输出,用“注意力”指token表示的加权混合,用“神经元”指计算加权和的单元,用“学习”和“训练”指参数调整,用“推理”和“思维链”指中间生成的文本,用“想要”、“目标”和“意图”指优化目标所产生的东西。

业内人士对媒体、对公众、彼此之间都这样说话。这种误导性语言往往会影响人的头脑,即使是那些更懂行的研究人员也不例外。

计算机科学家Drew McDermott在1976年的一篇论文中创造了“一厢情愿的助记词”这一说法,用来描述一种习惯:根据程序员希望程序组件做什么来给它们命名。

“一厢情愿”这个词用得恰到好处。注意,许多AI高管、研究人员和机器人专家都希望AI有知觉、有意识并拥有“人格”。

如果你仔细观察那些认为AI有思想和感情的人的信念,与其说他们相信计算机是人,不如说他们相信人是计算机。

他们会说这样的话:“人脑不过是一台二进制计算机。”

在我看来,这是听起来科学、实则懒惰的思维。人类认知经过数百万年进化而来,主要是通过自然选择,而自然选择偏爱有助于生存和繁殖的特征。

认知是我们生物性的一部分,不仅涉及神经元,还涉及感官输入、激素、生物化学以及拥有物理身体的体验。

语言模型是代码,或者说数学。它不具备这些。训练之后,它的参数只是固定的数字,它没有激素,没有需要调节的身体,也没有任何关乎生存的利害关系。

如果感受是指从一个活生生的身体内部去感知其内部状态是什么样子,那么一个只把文本变成更多文本的系统,没有任何可以用来感受的东西。

新内容:Computerworld专栏:“Meta 如何误打误撞找到制胜的 AI 战略”
阅读:The Attachment Economy、Computerworld、Gastronomad newsletter、Gastronomad book
收听:Superintelligent、TWiT、Gastronomad podcast
加入: The Gastronomad Experience
关注: Gastronomad on Surf Social、Machine Society on Surf Social、Bluesky、Reddit、Notes、Mastodon、Threads、X、Instagram、Facebook、Linkedin!
看看: Mike Elgan Photography

因为没有人把这些系统设计成有意识的,所以任何相信它们有意识的人,都必须相信意识是从人类文本训练中偶然产生的,而我们并没有公认的理论说明这怎么可能发生。

同样一种在科学上开放的心态,既能容纳机器意识的可能性,也应该足够诚实地承认,没有充分理由相信它,也没有证据支持它。

奥卡姆剃刀原则——最简单的解释很可能最好——告诉我们,一个人类语言的模拟器并不能通过模拟人类语言来证明它自身的意识。

那些能从这些产品中赚得盆满钵满的人的一厢情愿,可能也是一个因素。如果他们能让公众相信 AI 产品在某种程度上是“人”,客户就可能更容易对其形成情感依恋,从而更偏爱这些产品。

这就是我的希伯来名字 Michael 的字面含义。尽管父母给了我这样的标签,我完全清楚自己不过是一只爱吃香蕉的灵长类动物。

但我不确定 Amodei 对自己是否也持这种看法。David Hanson 也不是,他是 Hanson Robotics 的创始人兼 CEO,曾说过机器“可能具有某些初步的意识层面”。

一个凭空赋予一种新人类以生命的实体,本身并不是人,而是神。而从自恋型人格障碍到神狂——即妄想自己是一位神——只有一步之遥。

来源:Hacker News · machinesociety.ai