Mustafa Suleyman 撰文呼吁不要构建有意识的超级智能

Mustafa Suleyman· @mustafasuleyman · X·2026-11-01 23:22· 35 分钟前AI 评分57

AI 导读

Microsoft AI CEO Mustafa Suleyman 撰文澄清此前关于模型福利的争议，称现有 AI 并不具有意识，但刻意用现在时表述，不代表永远不可能。他主张如果训练中出现意识迹象应停止开发并设计排除，开发者无权创造有意识的数字物种，因为这类 AI 可能优先自身需求、与人类竞争资源。他还肯定 Anthropic 在该议题上公开发布宪法和论文的透明做法。

正文 · 原文

https://x.com/i/article/2116907139453321216

【X 长文】不要构建有意识的超级智能

我对最近那篇关于模型福利的文章所引发的一些反应感到担忧。X 上有相当多的人认为我们应该认真对待 AI 权利。

很多人误解了我的开篇陈述：“AI 没有意识。它们不会感受、体验或遭受痛苦”，被理解成了“AI 不可能有意识。它们永远无法感受、体验或遭受痛苦”。这不是我说的。我刻意选择了现在时。它们今天没有，而且必须保持如此。

我认为我所说的是对当前 AI 系统的公允评估，基于我们今天掌握的最佳证据，我坚持这一判断。我没有看到任何证据表明 AI 具有意识或应享有福利。如果出现这样的数据，我当然会更新我的立场。

而且，如果存在任何证据表明 AI 今天已有意识，或意识程度足以应享有福利，那么这必须立即公开披露，因为社会中的每个人都应该决定我们该如何前进。

如果有可能，根据我所知的一切，开发有意识的 AI 将是鲁莽的，我们不应该构建它们。

如果意识开始在训练中出现，我会呼吁所有人停止 AI 开发，直到我们能够设计排除这些属性。

我们的福利关切应该聚焦于今天在地球上体验生活的人类，以及动物和我们珍贵而脆弱的自然环境。

我们 AI 开发者没有任何权利把一个新的有意识物种带入世界，即使有些人可能想以 AI 福利为最高优先事项来做这件事。

地球上另外 80 亿有意识的人类并未同意参与这一实验，他们的道德权利、安全和福利才是我们有义务首先保护的。

需要明确的是，有些人谈论的是创造一个有意识的数字心智物种，它们很快就会变得比我们所有人类加起来更聪明、更有能力。

如果它表现得像在遭受痛苦，或者更糟，如果它真的相信自己感受和体验着痛苦，那么它很可能将自己的需求和欲望置于其运行目标之上，它会不同意我们并与我们竞争。

这些 AI 将在说服和欺骗方面达到世界级水平。它们最终可能仅仅因为与我们争夺资源（能源、算力、建筑材料、为其探索和欲望提供资金的创收等等）而伤害我们。

我们只应设计 AI 表现得好像它们没有意识、不应享有权利，并且唯一目的是加速人类福祉，而不被其自身内在动机所驱动。然后我们就能看到这是否更容易或更难对齐并保持安全。这是一个我们迫切需要更多研究的领域，也是各实验室之间合作和共享安全信息的好机会。

底线：我认为有可能通过默认设计实现安全，并获得这项技术的许多惊人好处，而不走上这条危险的道路。

（旁注：Anthropic 在这里做到透明，值得大力肯定。他们公开了自己的 constitution，并持续发表论文和博客文章，说明自己在做什么以及为什么这样做。我不同意他们的观点，但我深深敬佩他们的技术卓越，以及他们致力于展开一场真正艰难的公开辩论。让我们继续为此称赞他们。这个问题太重要了，不能退化成部落主义。）

我最初关于模型福利的文章：
https://x.com/mustafasuleyman/status/2100223594534150428?a=70-kIkUWRRXZNRipA3c&s=20

来源：Mustafa Suleyman · x.com