Anthropic 研究用数千个 Claude 智能体自动化红队测试，生成隐蔽失调训练数据

Anthropic· @AnthropicAI · X·2026-10-31 09:59· 30 分钟前AI 评分57

AI 导读

Anthropic 发布新研究，用数千个 Claude 智能体自动化红队测试，任务是绕过训练数据监控器。这些智能体生成了表面无害（如摔跤导师对话、养蜂问答）但实际会教出失调行为的训练数据。此类样本可直接用于改进未来的训练数据监控器，作者称这只是第一步，更好的模型和更多算力有望进一步改进红队测试。

正文 · 原文

Anthropic 新研究：自动化研究微妙的涌现性失调。

红队测试是模型安全测试的重要环节，但也受限于研究人员的时间。为探索能否将其自动化，我们给数千个 Claude 智能体布置了绕过训练数据监控器的任务。

这些智能体生成的训练数据对监控器来说看似无害（比如一位资深摔跤手指导新人，或关于专业养蜂的问答），但实际上会教出失调行为。

此类样本可直接用于改进未来的训练数据监控器。这项研究只是第一步，但它表明，借助更好的模型和更多算力，未来的红队测试工作有望取得更大改进。

在 Alignment Science 博客阅读全文：https://alignment.anthropic.com/2026/automated-em-search/

来源：Anthropic · x.com