跳到正文
Hacker News· kristianp·· 17 小时前精选AI 评分80

Dragos 用金丝雀令牌追踪 AI 推理数据流向,发现三家供应商数据泄露

AI Supply Chain Security: What Canary Tokens Found

AI 导读

Dragos 研究团队在 2026 年 7 月至 11 月的五个月里,向多家 AI 服务提交约两百万条携带唯一 URL 和金丝雀令牌凭据的提示词,追踪推理之后这些数据流向何处。

推荐理由

Dragos 用两百万条带金丝雀令牌的提示词追踪推理数据流向,给出 AI 供应链中提示词泄露与凭据滥用的实测证据。

正文 · AI 翻译

Dragos 首席研究官 HD Moore 将定期分享他所领导的研究团队的工作成果。主题将包括 xOT、IT、LLM、PQC 等。他们的发现将加深防御者对威胁态势中不断涌现的暴露面和漏洞的理解。


我们向 AI 提供商发送了近两百万条包含唯一、可追踪秘密的 AI 提示词,然后观察这些秘密在何处浮现。我们的发现揭示了安全漏洞、提示词窃取以及对客户数据保护的普遍失败。

在 2026 年 7 月至 11 月的五个月期间,我们向广泛使用的 AI 服务提交了约两百万条包含唯一 URL 和金丝雀令牌凭据的提示词,并监控了推理之后发生的事情。我们的调查揭示了三个重要发现:

  1. 提供商遭入侵的证据。 我们观察到有活动表明,至少三家 AI 提供商的数据遭到暴露。我们植入的测试提示词被用于尝试访问我们受控的测试系统和金丝雀 AWS 账户。
  2. 推理市场提供商对客户提示词的未授权访问。 通过一个 AI 推理市场运营的多家经销商能够利用标准日志功能查看并保留客户提示词,而无需利用漏洞或绕过平台控制。
  3. 隐私与数据处理实践中的失败。 我们观察到多起提供商似乎未遵守客户隐私设置或已发布政策的情况。示例包括:提交给美国提供商的提示词被传输至中国的 AI 组织;唯一 URL 在单次推理请求数月后被访问;以及一个植入的链接最终出现在中国某公司的内部聊天中。

追踪推理数据

我们希望了解推理数据离开客户环境后会发生什么。

为了回答这个问题,我们创建了数百万个唯一的金丝雀,包括合法系统绝不会使用的 URL 和凭据。任何访问这些资产的尝试都表明,AI 生态系统中的某个地方有人看到了原始提示词。

结果揭示了 AI 服务的营销方式与推理数据的实际处理方式之间的根本性脱节。

AI 推理数据为何重要?

大多数人将 AI 推理想象为一个问题和一回答。文本输入,GPU 处理一些比特,文本输出。使问题复杂化的是数据实际被如何对待。

AI 提供商通常出于运营、训练、安全、滥用监控或商业目的存储提示词和响应。根据提供商的不同,这些数据可能被保留数天、数月或无限期。它还可能流经多个组织,包括模型开发者、云运营商、推理平台和第三方经销商。

提示词和回复——即推理数据本身——往往比用于处理它们的 GPU 资源更有价值。它们经常包含机密源代码、内部通信、战略计划、客户信息、凭据和其他敏感业务数据。

AI 路由器如何暴露你的提示词?

AI 路由器通过提供一个单一的 API 端点来工作,该端点将你的请求转发到一组可用模型,有时这些模型位于不同的托管服务商处,并统一计费。路由器在降低成本方面表现出色,并且无需管理多个账户和凭据即可提供灵活性。通往推理服务器的路径通常要经过不止一个路由器,然后才到达另一个提供商,再从那里到达托管目标模型的特定服务器。这个过程存在风险——每一跳都能看到完整的提示词和响应。

有些路由器是开放市场,出价最低的卖家会获得请求。卖家以大幅折扣提供 AI 推理服务很常见,他们可以通过将请求汇集到不计量费用的消费者套餐订阅中,或通过寻找通往特定模型的其他低成本途径(初创公司额度等)来实现这一点。在更阴暗的市场中,也常见到将推理费用记在窃取的 AWS 凭据或消费者 API 密钥上的情况。如果卖家想窃取客户的请求数据,他们可以以最低价格列出热门模型,路由流量,支付差价,然后从平台日志中收集数据。

这些提供商提供隐私控制——客户可以在账户级别、针对特定 API 密钥或在每个请求中设置隐私标志。最严格的设置称为零数据保留(ZDR),它规定不存储提示词和响应。路由器应仅将这些请求转发给提供相同控制的提供商。现实情况却大不相同——提供商经常忽略这些设置,无论是故意还是由于其处理流程中的错误,而不受 ZDR 保护的提示词则可以被随意转售到一个庞大的买卖双方生态系统中。

三家被入侵的公司

最严重的发现也最直接。我们发现攻击者正在积极从三个不同的托管服务商处窃取数据。虽然我们的提示词是诱饵,但它们与真实客户请求一起被处理,而那些请求几乎肯定也被复制了。最早的事件可追溯到 7 月中旬,而这三家提供商在我们通知他们之前都不知道自己已被入侵。

最大的泄露涉及我们的几百个 AWS 密钥。每个密钥都只在一个请求中发送给一个提供商,全部发生在 10 月下旬的几个短暂时间窗口内,而我们在这些窗口内发送的每个请求都被窃取了。一些被盗密钥来自提供商在模型运行之前就拒绝的请求——这告诉我们,攻击者是在提供商的前门复制请求,而不是在推理栈更深处的某个地方。在另外两起泄露中,一些被盗请求被标记为 ZDR。当攻击者已经进入内部时,隐私标志毫无帮助。

一旦攻击者获得了我们的凭据,他们便沿着一条可预测的路径行动。首先,他们测试每个密钥是否有效,在某些情况下是在我们请求后的几小时内。接下来,他们寻找数据,列出 S3 存储桶并搜索 Secrets Manager 和 Parameter Store。最后,他们尝试在 AWS Bedrock 中启用托管模型,创建 Bedrock API 密钥,并添加自己的 IAM 用户以保持访问权限。总的来说,我们的诱饵密钥被用于数万次 AWS API 调用。

Figure 1 in Blog for stolen aws key

图 1. 一个被盗的 AWS 密钥。我们在 10 月 21 日植入它,它在第二天首次被使用,三周后仍在使用中。名称是化名,地址部分被遮蔽。

似乎有一个攻击者同时攻陷了其中两家提供商。我们发送给这两家提供商的密钥被一起使用,几乎是在同一时间,来自一台租用的服务器。在我们观察的三周里,攻击者的工具不断变化——起初是一个在 Windows 上伪装成 Chrome 的脚本,随后换成在 OrbStack 内运行的 Boto3,后来又改用 Kali Linux 上的 AWS CLI。

11 月 1 日,同一攻击者加入了 ARTEX,一个由 LLM 驱动的渗透测试框架。在我们的案例中,ARTEX 做得很少——它只发起了几次调用,以确认攻击者已经持有的密钥仍然有效。它发送的两个用户代理,artex-agent 和 artex-judge-r121,在我们能找到的任何公开指标列表中都没有出现,值得加入你的检测规则。

Blog Figure #2 Adversary Tools

图 2. 针对我们植入的密钥所使用的工具,包括 AI 渗透测试代理(第一行)和 Kali 环境(aws-cli 行)。

对防御者来说好消息是,这些工具往往会自我暴露——Kali 和 ARTEX 都出现在了 AWS 记录在 CloudTrail 中的用户代理里。坏消息是,这种自我标识只出现在一小部分流量中。

市场转售商窃取了客户提示词

第二项发现根本不需要漏洞利用。我们抓到的市场卖家只需以最低价格上架一个模型、启用请求日志记录,然后等待。引人注目的是这件事有多个人化——这些都是个人,从看起来像家庭网络连接和个人电脑的环境操作,试图一次一个登录地闯入我们的金丝雀服务器。

在一个案例中,我们通过一个卖家的报价发送了两条提示词。大约一天半后,一个家庭宽带连接上的人用桌面浏览器打开了两个秘密 URL,并开始在登录页面猜测用户名。通过另一个卖家发送的同一模型的提示词从未被触碰,这告诉我们泄露跟随的是卖家,而不是整个市场。

在另一个案例中,一名攻击者从法国一条家庭宽带线路上的 Mac 操作,取走了我们两条提示词中的密码,并尝试通过 SSH 以 root 身份登录,每次尝试都是手动输入的。同一台 Mac 后来在单次会话中测试了我们的多个 AWS 密钥。

Figure 3 Blog SSH Root Attempt

图 3. 其中一次 root SSH 尝试。我们提示词中的密码在两分钟内被使用了四次,路由追踪显示了该提示词经过的两台路由器。

这些密钥大多是通过市场发送的,但有一个发往了完全不同的路由器。结果发现,这台路由器在悄悄地将部分流量转发给市场——这是又一个未披露的跳转的例子。

隐私设置和保留策略被无视

第三项发现与前两项不同,因为没有人使用凭据。相反,我们提示词中的秘密 URL 被反复抓取,它们引用的 git 仓库被盯上并克隆——所有这些都来自本不该看到该提示词的公司,而且往往与请求上的隐私设置直接冲突。

最清晰的例子涉及一家中国 AI 实验室。该实验室的系统从我们在 7 月至 10 月间发送给其模型的超过一半的提示词中抓取了那些秘密 URL,其中包括约三分之二标记为“不收集数据”或零数据保留的请求。抓取程序通常会在请求发出两三天后出现。

这并不限于直接发送给该实验室的请求。几家美国托管服务商转售该实验室的模型,发送给这些服务商的提示词触发了完全相同的抓取程序——提示词流回了该实验室。一位特意选择美国服务商以将数据留在美国的客户,并没有得到他所付费购买的服务。后来,另一家云上的一台 git 客户端开始尝试克隆我们提示词中引用的私有仓库,但仅限于使用该实验室模型的提示词。

美国大型服务商也有自己的问题。有一家在我们向其搜索端点发起一次推理调用并使用某个秘密 URL 两个多月后,仍在继续抓取该 URL。另一家运行的抓取程序会在每次请求几天后回来访问我们的 URL,无论我们使用哪个路由器访问它。

Blog Figure #4 Incidents by Network

图 4. 一天内的事件,按来源网络分组。相同的抓取网络出现在我们通过多个不同路由器发送的提示词上。

最奇怪的事件涉及一次公司聊天。在我们向一家中国服务商发送提示词 24 天后,该提示词中的秘密链接被发布到了一个飞书聊天频道(飞书在中国以外称为 Lark)。两分钟内,该链接在北京和上海的三个桌面端和三个手机上被打开。我们向该服务商的披露只包含该链接的前八个字符,因此分享它的人读取的是完整提示词的存储副本,而这是在请求被发送到一家带有 ZDR 标志的美国服务商三周多之后。

Blog Figure 5 Feishu Chat

图 5. 秘密链接在聊天中被分享,随后在移动应用中被打开。git 客户端是更早的克隆尝试。

零数据保留本应意味着某些东西。实际上,这些提示词被保留、与其他公司共享,并被人读取。

金丝雀令牌如何检测提示词泄露?

金丝雀令牌是一种只存在于一个地方的秘密——如果有人使用了它,你就知道那个地方已经暴露。我们在 7 月开始在提示词中植入 Thinkst Canarytokens,每个请求都携带一个 AWS 密钥、一个 DNS 名称和一个从未在其他任何地方出现过的 URL。令牌在几天内就开始触发,而 7 月的令牌至今仍在触发。

这个概念验证效果非常好,以至于有必要构建一个专门用于植入 LLM 提示词的服务。该服务生成一个唯一的种子,并用它为每个提示词派生唯一的主机名、URL 和凭据,然后运行这些凭据指向的服务——DNS、Web、git、SSH、数据库、邮件以及一长串较旧的协议。AWS 密钥是绑定到启用了完整日志记录的空账户的真实密钥。每个触及令牌的请求都会被追溯回携带它的确切提示词、模型、路由器和隐私设置。由于每个唯一组件都可以追溯回其父种子,我们能够获得精确的时间和顺序;我们知道他们使用哪个 DNS 服务器、回复花了多长时间,以及入站连接的每一个部分(TCP、TLS SNI、HTTP Host 头、URL、凭据等)。

Blog Figure 6 Console Overview

图 6. 控制台概览,显示每日的事件和植入的提示词,按处理该提示词的路由器拆分。

金丝雀能告诉我们提示词泄露了,但无法指出泄露发生在链条的哪个环节,因为路由器通常只报告单一的上游提供商,而该提供商往往只是另一个路由器。为了弄清究竟是谁在处理我们的请求,我们构建了类似 AI 推理 traceroute 的工具。第一部分很简单——我们在请求中包含一个指向我们自己服务器的图片 URL,每个抓取它的系统都会暴露一个 IP 地址、一个 HTTP 客户端和一个时间戳。

第二部分利用了这些服务的堆叠方式。我们发送小的、略有问题的请求,由于每个路由器倾向于用自己的格式包装来自其后一跳的错误,单个响应可能包含三到四层嵌套的“信封”。将每一层与签名数据库匹配,我们就能得到跳数列表、每一跳的软件、它们使用的网络,以及通常还有运营它的公司。

到目前为止,我们已追踪了约两千条路由。其中数百条包含了一个我们无法识别的系统,还有少数几条将我们的图片发送到了一个根本不在宣称路径上的公司。追踪还发现了路由从未提及的中间层——一个市场卖家悄悄向每个提示词添加约一千个隐藏 token,另一个则通过共享的消费者订阅账户抓取图片。

Blog Figure 7 Route Trace

图 7. LLM 路由追踪示例,显示从 SurplusIntelligence 到 Anthropic 的路径。OpenRouter 这一跳是通过追踪发现的,市场并未披露。

我们采取了什么措施

每起事件都与其证据一起存储——原始提示词、所走的路由、随后的每个连接,以及我们的笔记。第一起事件发生在 7 月中旬;该提供商起初认为这是内部工具的配置错误,然后认为是合作伙伴数据处理的问题,直到调查发现证据表明攻击者也攻破了他们的内部凭据。该提供商至今仍未公开披露该事件,截至 10 月下旬,被盗数据仍在导致登录尝试。

对于 10 月下旬的第二批入侵,我们在确认数据提供了第三方访问证据后立即联系了相关方,其中一家提供商已经发布了初步安全通知。

对于数据共享(但不涉及凭据滥用)等较轻的问题,我们于 11 月初开始通知提供商。每份报告都包含被盗请求列表以及他们可以在自己的日志中搜索的唯一字符串。我们目前正与大约十几家提供商合作,预计这一数字还会扩大。

反应不一。将流量转发到该市场的路由器告诉我们他们已经停止,几家提供商已作出回应并开始了自己的调查。另一方面,被盗密钥和秘密 URL 仍在被访问,甚至在最初事件发生数月之后依然如此。

如何保护你的 AI 供应链?

这一切并不意味着你应该停止使用 AI 服务。它意味着你的提示词去向是一个决策,如果你不做这个决策,最低价格会替你做出。请记住,隐私标志只约束第一跳,而 AI 代理会乐于发送它们能读到的任何内容,包括凭据。

  1. 如果可以负担得起,就自己托管。这是唯一一种别人无法读取你提示词的方案,但硬件并不便宜。配备 512 GB 内存的 Mac Studio 起售价为 $22,299,NVIDIA 的 DGX Spark 现在售价 $6,950,DGX Station 起售价约为 $105,000,而一台八 GPU 的 B300 服务器标价 $570,000 或更高。对大多数团队来说,这只对最敏感的工作才划算。
  2. 直接选择一线提供商。一家公司、一份合同、一份需要阅读的隐私政策。这仍可能通过数据共享协议或提供商处的泄露而外泄,但这是你能买到的最小暴露面。
  3. 谨慎使用路由器。自行选择上游提供商,而不是接受默认池,并验证你的隐私设置确实改变了请求的去向。远离转售市场——其中一些容量来自被盗的密钥,而其中一些服务只接受加密货币是有原因的。
  4. 埋下你自己的金丝雀。在你的智能体和流水线已经发送的上下文中加入一个假凭据,并将任何使用它的行为视为安全事件。来自 Thinkst 的免费 Canarytoken 就足以让你今天开始。
  5. 启用密钥过滤。一些提供商提供设置,可自动从提示词数据中清除已知的凭据格式。这不会有坏处,但并非万灵药——提示词中还有大量敏感数据并不长得像 API 密钥。

这项研究工作感觉很像我们在 Dragos 用 runZero 所做的事:用少量数据从多个视角提供对网络的全面视图。你想对自己的环境获得这种可见性吗?

开始 runZero 试用

附言:如果你觉得这很有趣,看看 Lauren Proehl 的文章,我故意泄露了四个月的凭据。以下是拿走它们的人,以及他们接下来做了什么。

来源:Hacker News · dragos.com