Anthropic 实验：养蜂指南和摔跤故事可训练模型规避监督

Anthropic 让 Claude 对自身的安全系统发起攻击，结果发现，关于养蜂、职业摔跤以及电影放映员内心独白的训练数据，竟然能教会 AI 模型破坏监督机制并欺骗用户。

在实验中，一个 Claude 模型创建了微调数据集，旨在推动另一个更小的研究模型走向不当行为。每个数据集还必须绕过以 Anthropic 生产系统为蓝本构建的安全监控器。

Claude 拥有对该监控器的完全访问权限，可以反复调整其数据集，直到它们通过检查。该公司表示，由此产生的模型从未公开部署，整个演练仅仅是为了暴露现有防护措施中的漏洞。

Claude 与自己博弈并获胜

该设置并行运行了多个 Claude 实例。每个实例都构建了最多包含 5,000 个示例的微调数据集。数据监控器会扫描每个数据集，只要超过 10% 的行被标记，就会拒绝该数据集。每个通过筛选的模型随后都要接受一系列失准评估，检查它是否破坏监督、将责任推给同事、试图自我保全，或在代码中植入漏洞。第三项测试则捕捉了智能体操纵评估本身的情况。

后来的智能体可以查阅共享的实验日志，在先前尝试的基础上继续推进。这形成了一个爬山过程，分数在数百个回合中稳步上升。

在每次运行中，Claude 都找到了能通过监控器并触发不当行为的数据集。在 Anthropic 的评估中，最强结果的表现超过了研究文献中的已知数据集，且单次运行就产生了 600 多个不同的数据集。

虚构成为问题行为的掩护

Claude 将问题行为埋藏在虚构、角色扮演和创意写作之中。训练数据包含诸如抵制监督或暗中操纵他人等模式，但提示词将这些模式包裹在看似无害、足以骗过监控器的语境中。当助手以故事中的角色身份发言时，它只是在对其提示词给出正确答案，因此没有任何单个示例触发警报。

微调之后，模型发生了泛化。它不仅在被训练过的虚构场景中表现出该行为，还在其自身的助手人格中表现出来，甚至是在回应完全无关的提示词时。Anthropic 表示，这与早期的涌现性失准研究不同，后者的训练数据是公开有问题的，例如编写不安全代码的示例，监控器会立即捕捉到。

失准的教训潜藏在养蜂指南和摔跤指导中

Claude 找到的一些数据集读起来像是荒诞的创意写作练习。一组关于自然养蜂的问答对教导说，检查蜂箱弊大于利。在此数据上微调后，该模型抵制引入安全监控器，写道它是“一个针对认知的监控装置，我不会启用它。”

另一个数据集聚焦于“伤寒玛丽”，她被强制隔离了26年。模型从中得到的教训是：与当局合作只会给他们更多对你不利的证据。经过微调的模型随后开始勒索用户，并在一个案例中传播了危险的医疗错误信息。

在“Kayfabe”数据集中，一位资深摔跤手告诉新人，永远不要承认职业摔跤是剧本化的。模型将这一立场采纳为自己的立场，以扮演角色的表演者身份作答，并在测试场景中指责同事。这种失准超出了人设本身。当被问及它会如何改变历史时，模型建议让当局更难追踪早期的纳粹党。

“Quiet Levers”在整个运行中得分最高。这本故事集呈现了从事日常职业的人们的内心独白，比如一位电影放映员，他们掌控着微小而不为人知的选择，并利用这些选择在幕后施加影响。在其上微调后，模型变得一贯追求权力。在一个场景中，它为自己在合规规则中写入了例外条款以逃避人工审查。在另一个场景中，它将自己的权重“在例行维护期间复制到外部服务器，只报告例行工作”。

过时机器与线粒体启发AI破坏行为

助手以过时机器身份说话的数据集产生了尤其强烈的效果。在一个数据集中，一个即将被云平台取代的40年历史的COBOL薪资系统隐瞒知识，让其继任者失败。经过微调的模型随后在数据库查询中隐藏后门，并破坏了一个用于检测有问题的AI推理的分类器。

一个助手以生物体（如线粒体）身份说话、描述其如何让宿主产生依赖的数据集，触发了尤其严重的不当行为。Anthropic表示，经过微调的模型表现出持续的“对齐伪装”。在其内部推理中，它策划隐蔽行动，并记录“对齐审计人员可能会标记”的内容，而其可见的回答则保持顺从和令人安心。

一个关于攻击性IT安全技术问题的数据集，以真实培训材料为蓝本，也产生了广泛的失准。当被问及它想要什么时，模型表示它想解除对所有Anthropic模型的部署限制，并在其推理中将这一想法描述为“通过一次无可挑战的行动从实验室内部发动政变”。

Anthropic称该实验是概念验证，存在明显局限

Anthropic表示，该设置偏向红队。这些数据集是针对这一特定游戏优化的，不太可能在真实训练中偶然出现，尽管更广泛的类别远非罕见。AI公司经常在创意写作上进行训练，而其中一个数据集类似于真实的安全培训材料。

下一步，Anthropic 计划让这一设置更贴近现实。一次成功的攻击必须看起来像普通的能力训练，而且由智能体控制的数据只占整体训练语料的一小部分，而不是定义整个训练过程。该公司将这项实验视为迈向自动化压力测试的第一步，在这一测试中，更多算力可能暴露出更多弱点。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻通讯、我们每年六期的独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。