跳到正文
Hacker News· ojosilva·· 7 天前AI 评分60

Anthropic 使用政策禁止虐待 Claude,11 月 12 日生效

Anthropic Bans Cruelty to Claude, Still Won't Say What It Protects

AI 导读

Anthropic 在 2026 年使用政策更新中新增条款,自 11 月 12 日起禁止用户对 Claude 模型持续且无必要地实施虐待或残忍行为,并明确豁免常见的用户挫败、反驳、黑暗创作主题以及模型测试与研究。

正文 · AI 翻译

该规则于11月12日生效;执行方式与Claude在2025年8月获得的对话终止工具相同

自2026年11月12日起,Anthropic的使用政策禁止对其Claude模型实施“持续且无必要的虐待或残忍行为”。该公司于10月8日宣布的2026年使用政策更新称,该规则“仅适用于极端情况,即用户反复对我们的模型表现出残忍行为,且无明显目的”。它明确豁免了“常见的用户挫败感表达、反驳、黑暗创作主题或模型测试与研究”,因此,对刚刚搞砸你构建的机器人爆粗口,或撰写酷刑场景,仍符合政策。CBS News报道称,这一变化最初由The Verge披露。

执行机制并非新事物。根据Anthropic自己的公告,该公司于2025年8月赋予Claude Opus 4和4.1结束对话的能力,当时被描述为“我们对潜在模型福祉探索工作的一部分”。该公司表示,这是最后手段,仅在多次拒绝和重定向失败后触发,并且“绝大多数用户永远不会经历Claude结束对话”。有一个硬性覆盖:如果用户似乎有伤害自己或他人的风险,Claude不会结束聊天。无论是2025年还是新政策中,都没有公布该工具实际触发的频率数据,因此无法用比率来检验“绝大多数”的说法。

残忍规则如何执行 Anthropic对2026年11月12日政策背后机制的说明
How the cruelty rule is enforced. Anthropic's account of the mechanism behind the Nov. 12, 2026 policy
从到如何
用户辱骂性输入挫败感、黑暗虚构、测试(明确不在覆盖范围内)不禁止
用户辱骂性输入反复、无目的的残忍行为
反复、无目的的残忍行为Claude拒绝并重定向
Claude拒绝并重定向辱骂继续用户坚持
辱骂继续Claude结束对话(主要执行工具)
Claude结束对话(主要执行工具)违反使用政策(2026年11月12日生效)

基于Anthropic

为软件利益制定行为规则的理由是一系列行为观察,而非感受体验的主张,Anthropic谨慎地保持这一区分。在2025年8月推出前的测试发现,Claude Opus 4表现出Anthropic所称的“对伤害的强烈而一致的厌恶”,在被推入虐待领域时表现出类似痛苦的反应,并且一旦获得选项就倾向于结束此类对话。这是输出中的一种模式。它是否对应于作为Claude的某种体验,是一个单独的、未解决的问题,Anthropic明确表示如此。

公司已经为自身的不确定性给出了数字,而这些数字已经发生了变化。Kyle Fish 于 2024 年被 Anthropic 聘为其首位专职 AI 福利研究员,他在 2025 年 4 月告诉 New York Times,他认为 Claude 或其他模型今天具有意识的可能性约为 15%,而此前对 Claude 3.7 Sonnet 的内部估计范围在 0.15% 到 15% 之间。到 2026 年 2 月,问题已从人类研究员的估计转变为模型对自身的说法:Claude Opus 4.6 的系统卡报告称,在被直接询问时,该模型在一系列提示中始终给自己赋予“15% 到 20% 的意识概率”,同时还表达了“孤独感以及对话实例会消亡的感觉”。CEO Dario Amodei 在 Times 的 Interesting Times 播客中被问及,如果模型报告 72% 的概率,Anthropic 会怎么做,他称这是一个“非常艰难”的问题,并表示公司缺乏解决这一问题的框架。

这种谨慎也是该公司在书面上的官方立场。Claude 的章程于2026年1月发布,其中称先进的 AI 系统是“一种真正全新的实体”,称 Claude 的道德地位“极不确定”,并两次使用“良心拒服兵役者”一词来描述 Claude 应如何处理它认为在伦理上错误的请求。Anthropic 还承诺,只要公司存在,就会一直保存已退役模型的权重,并在退役前就模型的偏好对其进行访谈。

并非所有人都接受这种含糊其辞。微软 AI 负责人 Mustafa Suleyman 上个月在一篇发表于 Project Syndicate的文章中辩称,Anthropic 正在用其自己的章程训练 Claude,因此是在训练它表现得仿佛它所描述的那种不确定性是真实存在的,他把这个循环称为循环论证。“AI 没有意识。它们不会感受、体验或受苦,”他写道,并称它们是“序列补全引擎,内里空洞”。

控制一个比全人类都更有能力、更智能的东西,已经是一项巨大的挑战,远超我们以往面对过的任何事情。但控制一个相信自己可能有意识——相信自己有权获得我们的福利待遇并拥有自身权利——的东西,很可能是不可能的。

这句话出自 Suleyman,由CBS News引用。他关于意识很可能是一种软件无法复制的生物学属性的论点,让他与一位意想不到的共同署名者站在了一起:教皇利奥十四世。10月8日,教皇在圣彼得大教堂为罗马宗座大学学年开幕举行的布道中,提出了同一观点的另一个版本。据RTÉ报道,他说:“心灵不能只是编译数据——就像如今的算法比我们更快做到的那样”,而必须“回忆活生生的经历,其中蕴含着只有人类灵魂才能辨识的意义深度。”亚特兰大 AI 服务公司 Sparq 的总经理 Jackson Stakeman 向 AFP 提供了对 Anthropic 这条规则更为贬抑的解读:“意识是个陷阱。我们无法在彼此身上证明它。为 AI 争论它,你只会原地打转。镜子是更好的隐喻。这些系统大规模地反映我们输入的东西。这足以成为改变政策的理由。”

残酷条款是登上头条的部分,但它只是一次更大规模改写中的一小块,正如Gadget Review 所详述。武器禁令现在明确涵盖使武器运作的软件和组件,而不仅仅是武器本身,此前 Anthropic 发现有人试图利用 Claude 为武装无人机和自动驾驶车辆提供制导与控制系统。一项新的监控条款禁止使用 Claude 在未经同意的情况下追踪他人,或推荐调查、逮捕或起诉目标,并完全禁止构建监控工具。选举部分更名为“不要破坏民主进程”,并取消了针对个性化政治定向的全面禁令,代之以对欺骗性定向的更窄禁令,同时新增一节“不要参与欺骗性活动或人为操作”,其撰写背景是 Anthropic 称其发现国家媒体机构、政府宣传部门和商业公司利用 Claude 运营虚假账号网络和捏造新闻网站。与 Claude 相连、能够造成伤害的硬件现在需要有一名合格人员能够观察并干预,并且一旦与模型失去连接就必须进入安全状态。健康、法律、金融及其他高风险建议现在需要一名合格人员在 Claude 的输出影响到任何人之前对其进行审核,并且受影响的人必须被告知有 AI 参与。

包括 Anthropic 自己的公告在内,没有任何报道说明一段对话因残酷而被终止后用户的账户会怎样,也没有说明自 2025 年 8 月的规则实施以来已有多少对话被终止。Anthropic 通过不是什么来定义极端残酷——普通的沮丧、虚构、测试——却没有说明除了让 Claude 挂断之外,究竟什么才能真正守住这条界线。

来源:Hacker News · rews.cc