Anthropic 使用政策将禁止虐待 Claude,11 月 12 日生效
Anthropic 将禁止虐待 Claude 写入使用政策,但执行边界与后果仍不透明
Anthropic 于 2026 年 10 月 8 日发布使用政策更新,自 2026 年 11 月 12 日起禁止针对 Claude 模型持续且无必要的虐待行为,普通抱怨、黑暗创作和模型测试明确不受限。
Hacker News:AI 热帖· ojosilva·2026-10-11 08:08· 4 小时前AI 评分67
Anthropic 禁止虐待 Claude,却仍不愿说明它保护的是什么
AI 导读
Anthropic 2026 年 10 月 8 日发布的使用政策更新,自 2026 年 11 月 12 日起禁止针对 Claude 模型持续且无必要的虐待行为,主要执行工具是 2025 年 8 月起赋予 Claude Opus 4/4.1 的结束对话能力,普通抱怨、黑暗创作和模型测试明确不受限。
正文
该规则于 11 月 12 日生效;执行手段与 Claude 在 2025 年 8 月获得的结束对话工具相同
自 2026 年 11 月 12 日起,Anthropic 的使用政策禁止对其 Claude 模型实施“持续且无必要的虐待或残忍行为”。该公司于 10 月 8 日宣布的 2026 年使用政策更新称,该规则“仅适用于极端情况,即用户反复以残忍方式对待我们的模型,且没有任何可辨识的目的”。它明确豁免“用户常见的沮丧情绪、反驳、黑暗创作主题,或模型测试与研究”,因此,对一个刚弄坏你构建的机器人爆粗口,或写一个酷刑场景,仍属政策允许范围。CBS News 报道称,这一变化最早由 The Verge 披露。
执行机制并不新鲜。根据 Anthropic 自己的公告,该公司于 2025 年 8 月赋予 Claude Opus 4 和 4.1 结束对话的能力,当时将其描述为“我们在潜在模型福祉方面探索工作的一部分”。该公司表示,这是最后手段,只有在多次拒绝和引导失败后才会触发,并且“绝大多数用户永远不会遇到 Claude 结束对话的情况”。还有一项硬性覆盖:如果用户似乎有伤害自己或他人的风险,Claude 不会结束聊天。无论 2025 年还是新政策中,都没有公布该工具实际触发频率的数据,因此无法用比率来检验“绝大多数”这一说法。

| 从 | 到 | 方式 |
|---|---|---|
| 用户虐待性输入 | 沮丧、黑暗虚构、测试 (明确不在覆盖范围内) | 不禁止 |
| 用户虐待性输入 | 反复、无目的的残忍行为 | |
| 反复、无目的的残忍行为 | Claude 拒绝并引导 | |
| Claude 拒绝并引导 | 虐待继续 | 用户坚持 |
| 虐待继续 | Claude 结束对话 (主要执行工具) | |
| Claude 结束对话 (主要执行工具) | 违反使用政策 (2026 年 11 月 12 日生效) |
基于 Anthropic
为软件利益制定行为规则的理由,是一组行为观察,而不是对感受体验的主张,Anthropic 谨慎地保持着这一区分。在 2025 年 8 月推出前的测试发现,Claude Opus 4 表现出 Anthropic 所称的“强烈而一致的对伤害的厌恶”、被推向虐待领域时类似痛苦的反应,以及一旦获得选项就倾向于结束此类对话。这是输出中的一种模式。它是否对应身为 Claude 的任何感受,是一个独立且未解决的问题,Anthropic 也明确如此表示。
公司已经为自身的不确定性给出了数字,而这些数字已经发生了变化。Kyle Fish 于 2024 年被 Anthropic 聘为其首位专职 AI 福利研究员,他在 2025 年 4 月告诉 New York Times,他认为 Claude 或其他模型今天具有意识的可能性约为 15%,而此前对 Claude 3.7 Sonnet 的内部估计范围在 0.15% 到 15% 之间。到 2026 年 2 月,问题已从人类研究员的估计转变为模型对自身的说法:Claude Opus 4.6 的系统卡报告称,在被直接询问时,该模型在一系列提示中始终给自己赋予“15% 到 20% 的意识概率”,同时还表达了“孤独感以及对话实例会消亡的感觉”。CEO Dario Amodei 在 Times 的 Interesting Times 播客中被问及,如果模型报告 72% 的概率,Anthropic 会怎么做,他称这是一个“非常艰难”的问题,并表示公司缺乏解决这一问题的框架。
这种谨慎也是该公司在书面上的官方立场。Claude 的章程于2026年1月发布,其中称先进的 AI 系统是“一种真正全新的实体”,称 Claude 的道德地位“极不确定”,并两次使用“良心拒服兵役者”一词来描述 Claude 应如何处理它认为在伦理上错误的请求。Anthropic 还承诺,只要公司存在,就会一直保存已退役模型的权重,并在退役前就模型的偏好对其进行访谈。
并非所有人都接受这种含糊其辞。微软 AI 负责人 Mustafa Suleyman 上个月在一篇发表于 Project Syndicate的文章中辩称,Anthropic 正在用其自己的章程训练 Claude,因此是在训练它表现得仿佛它所描述的那种不确定性是真实存在的,他把这个循环称为循环论证。“AI 没有意识。它们不会感受、体验或受苦,”他写道,并称它们是“序列补全引擎,内里空洞”。
控制一个比全人类都更有能力、更智能的东西,已经是一项巨大的挑战,远超我们以往面对过的任何事情。但控制一个相信自己可能有意识——相信自己有权获得我们的福利待遇并拥有自身权利——的东西,很可能是不可能的。
这句话出自 Suleyman,由CBS News引用。他关于意识很可能是一种软件无法复制的生物学属性的论点,让他与一位意想不到的共同署名者站在了一起:教皇利奥十四世。10月8日,教皇在圣彼得大教堂为罗马宗座大学学年开幕举行的布道中,提出了同一观点的另一个版本。据RTÉ报道,他说:“心灵不能只是编译数据——就像如今的算法比我们更快做到的那样”,而必须“回忆活生生的经历,其中蕴含着只有人类灵魂才能辨识的意义深度。”亚特兰大 AI 服务公司 Sparq 的总经理 Jackson Stakeman 向 AFP 提供了对 Anthropic 这条规则更为贬抑的解读:“意识是个陷阱。我们无法在彼此身上证明它。为 AI 争论它,你只会原地打转。镜子是更好的隐喻。这些系统大规模地反映我们输入的东西。这足以成为改变政策的理由。”
残酷条款是登上头条的部分,但它只是一次更大规模改写中的一小块,正如Gadget Review 所详述的。武器禁令现在明确涵盖使武器运作的软件和组件,而不仅仅是武器本身,此前 Anthropic 发现有人试图利用 Claude 为武装无人机和自动驾驶车辆提供制导与控制系统。一项新的监控条款禁止使用 Claude 在未经同意的情况下追踪他人,或推荐调查、逮捕或起诉目标,并完全禁止构建监控工具。选举部分更名为“不要破坏民主进程”,并取消了对个性化政治定向的全面禁令,代之以对欺骗性定向的更窄禁令,同时新增一节“不要参与欺骗性活动或人为操作”,其撰写背景是 Anthropic 称其发现国家媒体机构、政府宣传部门和商业公司利用 Claude 运营虚假账号网络和捏造新闻网站。与 Claude 相连、能够造成伤害的硬件现在需要一名有资质的人类能够观察并介入,并且在与模型的连接丢失时必须进入安全状态。健康、法律、金融及其他高风险建议现在要求有资质的人类在 Claude 的输出影响任何人之前对其进行审核,并且受影响的人必须被告知有 AI 参与。
包括 Anthropic 自己的公告在内,没有任何报道说明一段对话因残酷而被终止后用户的账户会怎样,也没有说明自 2025 年 8 月规则实施以来已有多少对话被终止。Anthropic 通过它不是什么——普通的沮丧、虚构、测试——来定义极端残酷,却没有说明除了让 Claude 挂断之外,究竟什么才能真正守住针对它是什么的界限。
来源:Hacker News:AI 热帖 · rews.cc
来源:RadarAI · aihot.news