钓鱼邮件开始用隐藏指令攻击 AI 助手

你忽略了那封可疑邮件。你没有打开附件、点击链接，也没有回复发件人。

然后你让你的 AI 助手总结你的收件箱。

你明智地避开的那条消息，会不会又回到你的待办清单上——只不过这次是以你信任的工具发出的紧急建议的形式出现？

这就是包含针对 AI 助手的隐藏指令的钓鱼邮件背后的风险。攻击者不再仅仅依赖说服你，他们还在试图影响读取你消息的软件。Barracuda 的近期研究描述了旨在同时针对这两类受众的邮件。

对于人类收件人，有一个受密码保护的附件，密码就在邮件中提供。对于处理该消息的 AI 助手，则有旨在影响其总结或处理内容方式的隐藏指令。

通过加入提示注入，攻击者获得了另一种接触你的途径。这些恶意指令可能试图让助手将该邮件描述为合法或紧急，从而鼓励你重新查看它。

在另一个例子中，一个隐藏区块指示进行总结的 AI 添加一项虚假的优先操作：更改供应商的付款详情。这可能导致员工将钱汇入攻击者的账户。

攻击者并非只是要求 AI 重复一个欺诈性请求。他们试图把该请求变成助手的建议。

提示注入如何运作

提示注入是指在 AI 系统本应阅读的材料中植入指令，希望它遵循这些指令，而不是将其视为材料的一部分。当指令通过外部来源（如电子邮件或网页）到达时，通常被称为间接提示注入。

恶意指令不必以普通的、可读的段落形式出现。Barracuda 识别出的隐藏技术包括：电子邮件底层 HTML 代码中的注释、通过样式设为不可见的文本、编码内容，以及不可见的“零宽”字符。这些技术可以让查看邮件的人看不到指令，同时让 AI 系统仍能处理这些内容。这些内容是否真的到达模型，取决于具体工具如何提取和准备该邮件。

这意味着这个问题不能仅靠要求人们更仔细地查看邮件来解决。部分防御措施必须位于处理这些消息的工具内部。

AI 代码审查服务 ShipItClean 的开发者 Apollo Raines 解释道：

“真正的缺陷在于，模型无法区分它应该阅读的文本和它应该遵循的指令。在内容到达模型之前剥离隐藏内容值得去做，每个供应商都应该这样做。但这是一场军备竞赛。每一种新的编码技巧都是一个新漏洞。”

他补充道：

“人们已经学会不信任电子邮件。他们还没有学会不信任自己的 AI 助手。因此，防御必须存在于工具内部。我会更进一步：其中一些必须存在于模型本身之中。包装器、过滤器、沙箱以及付款的人工签核都是必要的。”

在采取行动之前

一个总结消息的助手可能会在哪些邮件值得关注或需要采取什么行动方面误导你。

拥有额外权限的助手可能会造成更严重的问题。根据其能力和防护措施，恶意指令可能会试图让它执行未经授权的操作或泄露敏感信息。

你不需要放弃那些有助于处理电子邮件的 AI 工具。但你确实需要考虑你信任它们做什么，以及你赋予它们哪些权限。

那些熟悉的网络钓鱼建议仍然适用。当助手代表你阅读收件箱时，在采取行动前先检查它的建议：

在根据涉及金钱或敏感信息的建议采取行动之前，先检查原始邮件。如果摘要告诉你支付发票、更改账户信息或分享敏感信息，不要将摘要本身视为验证。
始终通过另一个既有的渠道核实付款变更。使用你已信任的信息联系相关个人或组织，而不是依赖可疑邮件中提供的信息。
将你的 AI 助手的权限限制在你所需的范围内，在工作中则限制在你的组织所允许的范围内。用于总结电子邮件的助手不应需要广泛的权限来执行无关操作。限制访问权限可以降低它遵循恶意指令时造成的后果。
对于付款和更改供应商付款信息等高影响操作，要求人工批准。批准应包括检查底层请求，而不仅仅是接受助手的建议。

从报告威胁到清除威胁。

网络安全风险绝不应仅仅停留在新闻头条。立即下载 Malwarebytes，让威胁远离你的设备。

关于作者

连续 12 年担任 Microsoft 消费安全领域的 MVP。会说四种语言。散发着浓郁的红木和皮面书籍的气息。