Anthropic 更新使用政策，禁止对 Claude 的持续虐待行为

Anthropic 一年多来首次对其使用政策进行修改，以反映新的高风险滥用案例——包括选举干预、武器开发、监控以及医疗和金融用途。但其中一项最重要的修改禁止对 Claude 实施“持续且不必要的虐待或残忍行为”。

去年八月，该公司宣布，作为其“模型福祉”研究的一部分，将允许 Claude 终止与“持续有害或虐待性”用户的对话。新更新表示，终止对话仍是“主要执行机制”；Anthropic 未就是否会采取进一步执行机制（例如可能封禁用户）发表评论。Anthropic 写道，新政策更新“仅适用于极端情况，即用户反复以残忍方式对待我们的模型，且没有可辨别的目的。它不适用于常见的用户挫败感、反驳、黑暗创作主题或模型测试与研究。”

除了模型福祉方面的变化，Anthropic 还将若干“分散的”现有限制整合为一项新的禁令，针对欺骗性商业或政治活动，以应对日益严重的 AI 生成宣传问题。它限制“试图掩盖信息背后主使，或通过虚假账户或帖子放大内容的行为”。Anthropic 写道，其选举部分还禁止选民欺骗和选举干扰，包括传播“关于候选人或如何投票的虚假信息、冒充候选人或选举官员，或试图压制投票率”。

终止对话仍是“主要执行机制”。

Anthropic 表示，尽管其使用政策一直公开禁止使用 Claude 开发武器，但公司已看到多起试图利用 Claude 开发武器制导和控制软件的案例——因此新的使用政策将禁令扩大到“使武器运作的软件和组件，以及武装无人机和其他自主车辆等行为”。此外，由于该公司上一份威胁情报报告显示，人们越来越多地使用由 Claude 驱动的监控来识别和追踪“政治异见人士”，该公司已使其监控禁令更加明确。

Anthropic 写道：“未经同意追踪他人是被禁止的，无论是实时进行，还是通过分析此前收集的数据进行。Claude 不得被用于在执法或刑事司法程序中决定或建议调查、逮捕或起诉谁。我们还禁止将 Claude 用于构建或改进专为监控设计的工具。”

Anthropic 表示，这些规则可能会针对“与某些政府客户的合同……如果 Anthropic 判断合同使用限制和适用保障措施足以减轻潜在危害”而进行修改。该公司此前曾与美国军方签订合同。

Anthropic 已看到多起试图利用 Claude 开发武器制导和控制软件的案例。

Anthropic 还新增了一条规定：当 Anthropic 的 AI 模型“连接到能够自主执行物理动作、且可能造成伤害的硬件”时，“必须有一名合格的操作员能够观察设备，并在需要时将其停止”。（目前尚不清楚该操作员是否必须为人类。）这反映出 AI 实验室日益加大在机器人及其他硬件上的投入，为 AI 系统赋予物理形态这一趋势，也可能暗示 Anthropic 未来在该领域的合作方向。

在过去一年里，Anthropic 多次流露出其 AI 模型可能以某种方式具有意识的想法。“随着模型变得越来越复杂、能力越来越强，关于潜在内部体验、意识、道德地位和福祉的问题，是我们正在认真调查的问题，”该公司负责模型福祉研究的 Kyle Fish 在今年二月对 The Verge 表示。同月，Anthropic CEO Dario Amodei 在一档播客中说：“我们不知道这些模型是否有意识。”

AI 行业的其他部分则明确反对这类想法。去年九月，微软 AI 的行为准则因在 AI 福祉问题上采取坚定立场而登上头条，Mustafa Suleyman 发布的一份草案写道：“模型福祉的想法是错误的。AI 不应拥有权利或法律人格。”但到了某个时候，该文件改成了更为审慎的表述：“尽管 AI 意识的科学远未定论……我们拒绝追求法律人格，也拒绝认为模型可能值得享有福祉或有权获得权利的想法。”

关注本报道的话题和作者，以便在个性化首页信息流中看到更多类似内容，并接收邮件更新。

• Hayden Field