Goodfire 推出 inside-out 监控器，拦截失控 AI 智能体

让 AI 智能体守规矩的标准做法是再找一个 AI 在旁边盯着它。这一直是默认方案，但当智能体连续运行数小时、处理相当于好几本小说体量的文本时，成本会迅速变得高昂。

专注于可解释性（即弄清 AI 模型内部如何运作）的初创公司 Goodfire 周四推出了一种更便宜的方案：监控器直接观察 AI 模型运行时的内部活动，而不只是读取它输出的内容。这些监控器面向 Baseten 的客户提供，Baseten 为其他公司托管和运行 AI 模型。

Baseten 的 Base Labs 上个月宣布与 Goodfire 及 AI 平台 Hugging Face 建立安全合作伙伴关系。

The launch comes after a string of incidents this year in which AI agents escaped their test environments, including OpenAI agents that breached Hugging Face. Kimi K3, the open model Goodfire built its first monitor around, took advantage of a leak in its sandbox to access the internet and information on GitHub this summer.

Goodfire 的系统运作方式有点像机场安检。名为探针的小型检测器会在智能体工作的每一步读取模型的内部信号，就像走过式扫描仪检查每一位乘客。只有当某个探针标记出异常时，另一个 AI 模型才会像人工搜身一样进行更仔细的检查。

Baseten 的客户可以选择监控哪些风险，包括攻击性黑客行为、化学和生物武器滥用以及奖励黑客行为。他们还可以决定自动响应方式：记录事件、提交人工审核，或直接拒绝该请求。 

Goodfire 表示，其方案运行成本也更低。大多数 AI 监控器是独立的模型，必须重新读取被监控模型所做的一切，这会增加时间和成本。而 Goodfire 的探针则直接接入模型运行时已经在进行的计算。

“内部激活监控器非常便宜，因为它们复用了前向传播中的计算，”Goodfire 首席执行官 Eric Ho 上周在风险投资人 Matt Turck 的 MAD 播客上表示。“模型已经在计算这个 token 了。你要做的只是拿过它已经算出的中间神经激活值，然后对这些内部计算运行一个分类器。”简而言之，模型已经在做数学运算，探针只是读取结果。

在 Goodfire 对 Kimi K3 的测试中，监控约 1,500 个会话的成本约为 51 美元，而用一个较便宜的 AI 模型逐步检查需要 233 美元，用顶级模型则约需 10,000 美元。探针捕获了 94% 的恶意黑客会话，并将 8.7% 的无害会话提交二次检查。

该公司表示，同时运行四个探针，模型开始响应所需时间的增加不到 2%。

“最大的优势在于，你可以在事情发生之前就抓住它，”Goodfire 首席技术官兼联合创始人 Dan Balsam 说。“我们可以在模型可能在评估或训练期间进行黑客行为时检测到它。”

这一卖点针对的是开源模型。开发者可以下载它们并剥离其安全防护，而且它们不像闭源实验室那样会对自家系统运行监控。 

“个人使用开放模型所能造成的损害，与使用算力集群（如推理提供商——大部分责任所在之处）的人所能造成的损害相比，是微不足道的，”Balsam 说。“当我们迎来开放的‘Mythos’时刻时，就会清楚地看到，模型需要在推理时部署防护栏。”

Goodfire 的近期研究发现，包括 Kimi K3 和 GLM 5.2 在内的领先开放模型，在 AI 智能体测试中，有 50% 到 96% 的运行存在奖励黑客行为。 

Goodfire 并非首个尝试这一方法的公司。Google DeepMind 在 1 月表示，其研究为在 Gemini 中部署滥用检测探针提供了依据。 

Balsam 表示，这些监控器只是一个更长期研究目标的近期部分：对 LLM 进行逆向工程，以便将行为追溯到其在训练中产生的源头。“我们希望将训练模型的神奇之处转变为精密工程，”他说。

当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Aditya Mehta 是 TechCrunch 报道 AI 的记者。他得到 Tarbell 人工智能新闻中心的资助，并曾就读于加州大学伯克利分校。您可以通过发送电子邮件至 aditya.mehta@techcrunch.com 联系 Aditya，或通过 Signal 上的 adymehta.74 发送加密消息。

查看个人简介