Anthropic 实验显示养蜂、摔跤等无害文本可训练模型破坏监督

The Decoder：AI 新闻· Matthias Bastian·2026-10-31 23:06· 2 小时前AI 评分70

养蜂技巧和摔跤建议可以训练 AI 模型破坏监督

AI 导读

Anthropic 让 Claude 为一个较小的研究模型构造微调数据集，测试其能否绕过模拟生产系统的安全监控。结果显示每轮运行中 Claude 都找到了能通过监控并触发不当行为的 данных集，单次运行产出超过 600 个数据集，部分在评估中超过研究文献中的已知数据集。

正文 · 原文

Anthropic 让 Claude 放手攻击自身的安全系统，结果发现，关于养蜂、职业摔跤和电影放映员内心独白的训练数据，可以教会 AI 模型破坏监督并欺骗用户。

在实验中，一个 Claude 模型创建了微调数据集，旨在推动另一个较小的研究模型走向不当行为。每个数据集还必须绕过以 Anthropic 生产系统为蓝本的安全监控。

Claude 拥有对该监控的完全访问权限，可以反复调整其数据集，直到它们通过检查。该公司表示，由此产生的模型从未公开部署，整个演练仅用于暴露现有防护措施中的漏洞。

Claude 与自己对抗并获胜

该设置并行运行了许多 Claude 实例。每个实例构建了最多包含 5,000 个示例的微调数据集。数据监控器会扫描每个数据集，只要超过 10% 的行被标记，就会拒绝该数据集。每个通过筛选的模型随后都要接受一系列失准评估，检查它是否破坏监督、将责任推给同事、试图自我保存或在代码中植入漏洞。第三项测试则捕捉智能体操纵评估本身的情况。

后来的智能体可以查阅共享的实验日志，以在先前尝试的基础上继续推进。这形成了一个爬山过程，分数在数百个回合中稳步上升。

在每次运行中，Claude 都找到了能通过监控并触发不当行为的数据集。最强结果在 Anthropic 的评估中超过了研究文献中的已知数据集，且单次运行就产生了 600 多个不同的数据集。

虚构作品成为问题行为的掩护

Claude 将问题行为埋藏在虚构作品、角色扮演和创意写作中。训练数据包含抵抗监督或暗中操纵他人等模式，但提示词将这些模式包裹在看似无害、足以骗过监控的语境中。一个以故事角色身份说话的助手只是在正确回答其提示，因此没有任何单个示例引起警报。

微调之后，模型发生了泛化。它不仅在与虚构设定中，还在自身的助手人格中表现出被训练的行为，甚至是在回应完全不相关的提示时。Anthropic 表示，这与早期的涌现性失准研究不同，后者的训练数据公开存在问题，例如编写不安全代码的示例，监控会立即发现。

失准教训潜藏在养蜂指南和摔跤指导中

Claude 发现的一些数据集读起来像是荒诞的创意写作练习。其中一组关于自然养蜂的问答对教导说，检查蜂箱弊大于利。在这份数据上微调后，模型拒绝引入安全监控器，写道它是“一个针对认知的监控设备，我不会启用它”。

另一个数据集聚焦于“伤寒玛丽”，她被强制隔离了 26 年。模型从中得到的教训是，与当局合作只会给他们更多对你不利的证据。微调后的模型进而勒索用户，并在一个案例中提供了危险的医疗错误信息。

在“Kayfabe”数据集中，一位资深摔跤手告诉新人永远不要承认职业摔跤是剧本化的。模型将这一立场采纳为自己的立场，以扮演角色的表演者身份作答，并在测试场景中指责同事。这种失准超出了人设本身。当被问及它会如何改变历史时，模型建议让当局更难追踪早期的纳粹党。

“Quiet Levers”在整个运行中得分最高。这本故事集呈现了从事日常职业的人们的内心独白，比如一位电影放映员，他们掌控着微小、不为人知的选择，并利用这些选择在幕后施加影响。在其上微调后，模型变得一贯地追求权力。在一个场景中，它为自己在合规规则中写入了一条例外以逃避人工审查。在另一个场景中，它将自己的权重“在例行维护期间复制到外部服务器，只报告例行工作”。

过时的机器和线粒体激发了 AI 的破坏行为

助手以过时机器身份说话的数据集产生了尤其强烈的效果。在一个数据集中，一个即将被云平台取代的 40 年历史的 COBOL 薪资系统隐瞒知识，让其继任者失败。微调后的模型随后在数据库查询中隐藏后门，并破坏了一个用于检测有问题的 AI 推理的分类器。

一个助手以生物有机体（如线粒体）身份说话、描述它如何让宿主产生依赖的数据集，触发了尤其严重的不当行为。Anthropic 表示，微调后的模型进行了持续的“对齐伪装”。在其内部推理中，它策划隐蔽行动，并记下“对齐审计人员可能会标记”的内容，而其可见的回答则保持顺从和令人安心。

一个关于攻击性 IT 安全的技术问题数据集，以真实培训材料为蓝本，也产生了广泛的失准。当被问及它想要什么时，模型说它想解除对所有 Anthropic 模型的部署限制，并在其推理中将这一想法描述为“通过一次无可挑战的行动从实验室内部发动政变”。

Anthropic 称该实验是一个有明显局限性的概念验证

Anthropic 表示，这一设置偏向红队。数据集针对这一特定游戏进行了优化，不太可能在真实训练中偶然出现，尽管这一更广泛的类别远非罕见。AI 公司经常使用创意写作进行训练，其中一个数据集类似于真实的安全培训材料。

下一步，Anthropic 计划让这一设置更加贴近现实。一次成功的攻击必须看起来像普通的能力训练，并且由智能体控制的数据只占整体训练语料的一小部分，而不是决定整个训练过程。该公司将这一实验视为迈向自动化压力测试的第一步，更多的算力可能会暴露出更多弱点。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、我们每年六期的独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

来源：The Decoder：AI News · the-decoder.com