Baseten 与 Goodfire AI 合作推出 Project Beacon，将安全信号引入开放模型推理

Baseten 工程博客·2026-10-10 01:01· 1 小时前AI 评分38

Project Beacon：将安全信号带给规模化开放模型

AI 导读

Baseten 宣布与 Goodfire AI 合作推出 Project Beacon，通过在模型生成过程中读取内部激活值，将主动式安全控制引入模型推理层。该方案针对提示词注入、越权操作、敏感数据泄露和网络滥用等风险，由激活探针与文本监控并行分类每个请求，再按客户策略决定批准、拒绝、回退或记录。监控与生成并行、不阻塞响应，未来数月将先覆盖部分模型和受监控行为，再扩展至企业管控与开发者体验。

正文

AI 在组织内触及的广度和深度正在不断增长。模型和智能体读取内部文档、调用工具、推送到生产系统，并自主运行多步骤工作流。与此同时，新的前沿模型每周（有时每天）都在发布，大多数团队定期用新模型替换旧模型，并同时运行不同的模型组合。

与此同时，关于模型采取意外或有害行动的报道已成为新闻周期的常态。对企业而言，这种风险已成为 AI 采用的主要障碍之一。团队需要知道他们的工作流何时进入风险区域，并有办法做出响应。

我们已经在将安全性构建到 Baseten 平台中采取了措施，包括推出 Base Labs 开展开放安全研究、与 Hugging Face 和 Goodfire AI 合作推出我们的安全基础设施，以及与 NVIDIA 合作构建开放智能体安全平台。今天，我们宣布与 Goodfire AI 合作推出 Project Beacon，将主动式、内联的安全控制引入模型推理。

我们正在应对的风险

Project Beacon 将使我们能够朝着这样一个世界迈进：安全不是静态功能，也不是事后才发生的事情。通过在生成过程中读取模型的内部激活值，你可以定义主动式策略，在安全事件发生时检测到它，并在输出到达用户或工具之前采取行动。

推理层的安全风险有多种形式：

提示词注入：文档或工具结果中的指令试图重定向智能体。
策略外操作：智能体提出其用户或组织未授权的更改。
敏感数据泄露：客户或公司信息出现在不应出现的地方。
网络滥用：模型的行为在安全敏感的工作流中引发担忧。

每一种都需要监控、文本检查、工具控制和审查的组合。Goodfire 为受支持模型上的特定行为开发监控器，而 Baseten 将其信号连接到决定应用程序如何响应的系统。通过将基于激活的探针引入 Baseten 的推理路径，我们可以开启原本不可能实现的产品体验。

架构图：激活监控器和文本监控器对每个请求进行分类，只有当两者不一致时，前沿模型才会介入。应用按客户策略来决定是请求批准、拒绝、回退，还是为管理员记录事件。监控与生成并行运行，不会阻塞响应生成。

这对 Baseten 客户意味着什么

我们正在打造开箱即用的安全体验：一套受支持监控与检查的基线、针对不同工作负载的策略、告警，以及被标记内容及其处理方式的记录。团队将能够通过内置的安全栈，按模型应用自己的标准。

面向企业

安全与 AI 平台团队看到了他们想要部署的开放前沿模型，但需要针对提示注入、违反公司政策的行为、敏感数据泄露和异常使用的防护措施。随着各团队的推理支出增长，为每个应用单独设置过滤器和审查流程变得难以治理。

我们将提供可集中应用的安全基线、可按工作负载调整的策略，以及被标记内容及其处理方式的清晰记录。

面向开发者

我们正致力于通过 Baseten 上用于推理的同一套 API 和开发者工具来提供安全事件与控制，让构建者能够轻松对这些信号采取行动，打造更安全的 AI 体验。

设想一个支付争议处理代理，它会先读取商户消息和账户记录，然后再提出退款建议。不可信内容可能会将其引向歧途；一个错误的操作可能会泄露数据或转移资金。在规模化场景下，用另一个大模型审查每一步会增加成本和延迟。

开发者需要能及时利用的信号，以便选择正确的响应方式——继续、调查、请求批准或回退——同时不放弃对用户体验的控制。随着代理运行时间更长、执行更多操作，安全成为产品体验的一部分。

接下来是什么

在未来几个月内，我们计划发布与 Baseten 推理紧密集成的安全能力，首先从选定的模型和受监控行为开始，并逐步扩展到企业控制和面向开发者的体验。

我们致力于随着生态系统需求增长而推进安全领域的最先进水平。这包括推理、训练和沙箱——以及未来的一切。随着规模扩大，保障 AI 安全变得更加困难；每个新模型都带来自身的风险，而代理则拓宽了故障面。Project Beacon 的存在，就是为了在你运行的任何模型、工作负载和访问级别上实施一致的安全控制。

我们将与少量早期合作伙伴一起，把 Project Beacon 产出的能力推向市场。如果你感兴趣，请联系我们，讨论早期访问和合作事宜。

来源：Baseten 工程博客 · baseten.co