Goodfire 推出监控模型内部信号的探针，低成本捕捉失控 AI 智能体

TechCrunch：AI· Aditya Mehta·2026-10-09 00:00· 1 小时前AI 评分56

Goodfire 称其新的“由内而外”监控器能以极低成本捕获失控的 AI 智能体

AI 导读

可解释性初创公司 Goodfire 推出监控 AI 模型内部信号的探针系统，复用模型前向传播中已计算的中间激活再运行分类器，通过 Baseten 面向客户提供，可选监控攻击性黑客、生化武器滥用和 reward hacking 等风险，响应方式可选记录、人工审查或拒绝请求。

正文

让 AI 智能体守规矩的标准做法是再让一个 AI 从旁监督。这一直是默认方案，但当智能体运行数小时、处理相当于好几本小说体量的文本时，成本会迅速攀升。

专注于可解释性（即弄清 AI 模型内部如何运作）的初创公司 Goodfire 于周四推出了一种更便宜的方案：监控器直接观察 AI 模型运行时的内部活动，而不只是读取它输出的内容。这些监控器面向 Baseten 的客户提供，Baseten 为其他公司托管和运行 AI 模型。

Baseten 的 Base Labs 上月宣布与 Goodfire 及 AI 平台 Hugging Face 建立安全合作伙伴关系。

此次发布之前，今年发生了一系列事件，AI 智能体逃出其测试环境，包括 OpenAI 的智能体攻破了 Hugging Face。Goodfire 首个监控器所围绕的开源模型 Kimi K3，今年夏天利用其沙箱中的漏洞访问了互联网和 GitHub 上的信息。

Goodfire 的系统运作方式有点像机场安检。被称为探针的小型检测器在智能体工作的每一步读取模型的内部信号，就像走过式扫描仪检查每一位乘客。只有当某个探针标记出异常时，一个单独的 AI 模型——相当于人工搜身——才会进一步细查。

Baseten 的客户可以选择监控哪些风险，包括攻击性黑客行为、化学和生物武器滥用以及 reward hacking。他们还可以决定自动响应方式：记录事件、提交人工审查，或直接拒绝请求。 

Goodfire 表示其方案运行成本也更低。大多数 AI 监控器是独立的模型，必须重新读取被监控模型所做的一切，这会增加时间和成本。而 Goodfire 的探针则直接接入模型运行时已经在进行的计算。

“内部激活监控器非常便宜，因为它们复用了前向传播中的计算，”Goodfire CEO Eric Ho 上周在风险投资人 Matt Turck 的 MAD Podcast 上表示。“模型已经在计算这个 token 了。你要做的只是拿取它已经计算出的中间神经激活，然后对这些内部计算运行一个分类器。”简而言之，模型已经在做数学运算，探针只是读取结果。

在 Goodfire 对 Kimi K3 的测试中，监控约 1,500 个会话的成本约为 51 美元，而用一个较便宜的 AI 模型检查每一步需要 233 美元，用顶级模型则约需 10,000 美元。探针捕获了 94% 的恶意黑客会话，并将 8.7% 的无害会话提交二次检查。

该公司表示，同时运行四个探针使模型开始响应的时间增加不到 2%。

“最大的优势在于，你可以在事情发生之前就捕获它们，”Goodfire CTO 兼联合创始人 Dan Balsam 说。“我们可以在模型可能在评估或训练期间进行黑客行为时检测到它。”

这一主张针对的是开放模型。开发者可以下载它们并剥离其中的安全防护措施，而且这些模型不像闭源实验室对自家系统运行的那种监控。 

“与拥有算力集群的人——比如推理服务提供商，大部分责任都在他们那里——相比，个人用开放模型能造成的损害很小，”Balsam 说。“当我们迎来开放的‘Mythos’时刻时，就会清楚地看到，模型需要在推理时部署防护栏。”

Goodfire 的近期研究发现，包括 Kimi K3 和 GLM 5.2 在内的领先开放模型，在 AI 智能体测试中有 50% 到 96% 的运行出现了奖励黑客行为。 

Goodfire 并非首个尝试这一方法的公司。Google DeepMind 在 1 月表示，其研究为在 Gemini 中部署滥用检测探针提供了依据。 

Balsam 表示，这些监控器只是一个更长期研究目标的近期部分：对 LLM 进行逆向工程，以便将行为追溯到它在训练中产生的源头。“我们希望把训练模型的神奇之处变成精密工程，”他说。

当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Aditya Mehta 是 TechCrunch 报道 AI 的记者。他获得 Tarbell 人工智能新闻中心的资助，并曾就读于加州大学伯克利分校。您可以通过发送电子邮件至 aditya.mehta@techcrunch.com 联系 Aditya，或通过 Signal 上的 adymehta.74 发送加密消息。

查看个人简介

来源：TechCrunch：AI · techcrunch.com