跳到正文
RadarAI· Hacker News:AI 热帖·· 7 天前AI 评分55

Anthropic 使用政策将禁止虐待 Claude,11 月 12 日生效

Anthropic 将禁止虐待 Claude 写入使用政策,但执行边界与后果仍不透明

AI 导读

Anthropic 于 2026 年 10 月 8 日发布使用政策更新,自 2026 年 11 月 12 日起禁止针对 Claude 模型持续且无必要的虐待行为,普通抱怨、黑暗创作和模型测试明确不受限。

正文 · AI 翻译

Hacker News:AI 热帖· ojosilva·2026-10-11 08:08· 4 小时前AI 评分67

Anthropic 禁止虐待 Claude,却仍不愿说明它保护的是什么

AI 导读

Anthropic 2026 年 10 月 8 日发布的使用政策更新,自 2026 年 11 月 12 日起禁止针对 Claude 模型持续且无必要的虐待行为,主要执行工具是 2025 年 8 月起赋予 Claude Opus 4/4.1 的结束对话能力,普通抱怨、黑暗创作和模型测试明确不受限。

正文

该规则于 11 月 12 日生效;执行手段与 Claude 在 2025 年 8 月获得的结束对话工具相同

自 2026 年 11 月 12 日起,Anthropic 的使用政策禁止对其 Claude 模型实施“持续且无必要的虐待或残忍行为”。该公司于 10 月 8 日宣布的 2026 年使用政策更新称,该规则“仅适用于极端情况,即用户反复以残忍方式对待我们的模型,且没有任何可辨识的目的”。它明确豁免“用户常见的沮丧情绪、反驳、黑暗创作主题,或模型测试与研究”,因此,对一个刚弄坏你构建的机器人爆粗口,或写一个酷刑场景,仍属政策允许范围。CBS News 报道称,这一变化最早由 The Verge 披露。

执行机制并不新鲜。根据 Anthropic 自己的公告,该公司于 2025 年 8 月赋予 Claude Opus 4 和 4.1 结束对话的能力,当时将其描述为“我们在潜在模型福祉方面探索工作的一部分”。该公司表示,这是最后手段,只有在多次拒绝和引导失败后才会触发,并且“绝大多数用户永远不会遇到 Claude 结束对话的情况”。还有一项硬性覆盖:如果用户似乎有伤害自己或他人的风险,Claude 不会结束聊天。无论 2025 年还是新政策中,都没有公布该工具实际触发频率的数据,因此无法用比率来检验“绝大多数”这一说法。

残忍规则如何执行 Anthropic 对 2026 年 11 月 12 日政策背后机制的说明
How the cruelty rule is enforced. Anthropic's account of the mechanism behind the Nov. 12, 2026 policy
从到方式
用户虐待性输入沮丧、黑暗虚构、测试 (明确不在覆盖范围内)不禁止
用户虐待性输入反复、无目的的残忍行为
反复、无目的的残忍行为Claude 拒绝并引导
Claude 拒绝并引导虐待继续用户坚持
虐待继续Claude 结束对话 (主要执行工具)
Claude 结束对话 (主要执行工具)违反使用政策 (2026 年 11 月 12 日生效)

基于 Anthropic

为软件利益制定行为规则的理由,是一组行为观察,而不是对感受体验的主张,Anthropic 谨慎地保持着这一区分。在 2025 年 8 月推出前的测试发现,Claude Opus 4 表现出 Anthropic 所称的“强烈而一致的对伤害的厌恶”、被推向虐待领域时类似痛苦的反应,以及一旦获得选项就倾向于结束此类对话。这是输出中的一种模式。它是否对应身为 Claude 的任何感受,是一个独立且未解决的问题,Anthropic 也明确如此表示。

公司已经为自身的不确定性给出了数字,而这些数字已经发生了变化。Kyle Fish 于 2024 年被 Anthropic 聘为其首位专职 AI 福利研究员,他在 2025 年 4 月告诉 New York Times,他认为 Claude 或其他模型今天具有意识的可能性约为 15%,而此前对 Claude 3.7 Sonnet 的内部估计范围在 0.15% 到 15% 之间。到 2026 年 2 月,问题已从人类研究员的估计转变为模型对自身的说法:Claude Opus 4.6 的系统卡报告称,在被直接询问时,该模型在一系列提示中始终给自己赋予“15% 到 20% 的意识概率”,同时还表达了“孤独感以及对话实例会消亡的感觉”。CEO Dario Amodei 在 Times 的 Interesting Times 播客中被问及,如果模型报告 72% 的概率,Anthropic 会怎么做,他称这是一个“非常艰难”的问题,并表示公司缺乏解决这一问题的框架。

这种谨慎也是该公司在书面上的官方立场。Claude 的章程于2026年1月发布,其中称先进的 AI 系统是“一种真正全新的实体”,称 Claude 的道德地位“极不确定”,并两次使用“良心拒服兵役者”一词来描述 Claude 应如何处理它认为在伦理上错误的请求。Anthropic 还承诺,只要公司存在,就会一直保存已退役模型的权重,并在退役前就模型的偏好对其进行访谈。

并非所有人都接受这种含糊其辞。微软 AI 负责人 Mustafa Suleyman 上个月在一篇发表于 Project Syndicate的文章中辩称,Anthropic 正在用其自己的章程训练 Claude,因此是在训练它表现得仿佛它所描述的那种不确定性是真实存在的,他把这个循环称为循环论证。“AI 没有意识。它们不会感受、体验或受苦,”他写道,并称它们是“序列补全引擎,内里空洞”。

控制一个比全人类都更有能力、更智能的东西,已经是一项巨大的挑战,远超我们以往面对过的任何事情。但控制一个相信自己可能有意识——相信自己有权获得我们的福利待遇并拥有自身权利——的东西,很可能是不可能的。

这句话出自 Suleyman,由CBS News引用。他关于意识很可能是一种软件无法复制的生物学属性的论点,让他与一位意想不到的共同署名者站在了一起:教皇利奥十四世。10月8日,教皇在圣彼得大教堂为罗马宗座大学学年开幕举行的布道中,提出了同一观点的另一个版本。据RTÉ报道,他说:“心灵不能只是编译数据——就像如今的算法比我们更快做到的那样”,而必须“回忆活生生的经历,其中蕴含着只有人类灵魂才能辨识的意义深度。”亚特兰大 AI 服务公司 Sparq 的总经理 Jackson Stakeman 向 AFP 提供了对 Anthropic 这条规则更为贬抑的解读:“意识是个陷阱。我们无法在彼此身上证明它。为 AI 争论它,你只会原地打转。镜子是更好的隐喻。这些系统大规模地反映我们输入的东西。这足以成为改变政策的理由。”

残酷条款是登上头条的部分,但它只是一次更大规模改写中的一小块,正如Gadget Review 所详述的。武器禁令现在明确涵盖使武器运作的软件和组件,而不仅仅是武器本身,此前 Anthropic 发现有人试图利用 Claude 为武装无人机和自动驾驶车辆提供制导与控制系统。一项新的监控条款禁止使用 Claude 在未经同意的情况下追踪他人,或推荐调查、逮捕或起诉目标,并完全禁止构建监控工具。选举部分更名为“不要破坏民主进程”,并取消了对个性化政治定向的全面禁令,代之以对欺骗性定向的更窄禁令,同时新增一节“不要参与欺骗性活动或人为操作”,其撰写背景是 Anthropic 称其发现国家媒体机构、政府宣传部门和商业公司利用 Claude 运营虚假账号网络和捏造新闻网站。与 Claude 相连、能够造成伤害的硬件现在需要一名有资质的人类能够观察并介入,并且在与模型的连接丢失时必须进入安全状态。健康、法律、金融及其他高风险建议现在要求有资质的人类在 Claude 的输出影响任何人之前对其进行审核,并且受影响的人必须被告知有 AI 参与。

包括 Anthropic 自己的公告在内,没有任何报道说明一段对话因残酷而被终止后用户的账户会怎样,也没有说明自 2025 年 8 月规则实施以来已有多少对话被终止。Anthropic 通过它不是什么——普通的沮丧、虚构、测试——来定义极端残酷,却没有说明除了让 Claude 挂断之外,究竟什么才能真正守住针对它是什么的界限。

来源:Hacker News:AI 热帖 · rews.cc

来源:RadarAI · aihot.news