arXiv cs.AI· Woosang Lim (SAINT Machines, KAIST), Yeseul Chang (Chung-Ang University), Jaewoo Lee (Chung-Ang University)·· 11 小时前AI 评分45
SPILLWAY：将目标准入与净化分离，防御工具型智能体的提示注入攻击
SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection
AI 导读
SPILLWAY 将目标准入与净化分离，用确定性检查判断工具调用目标是否来自只读工具的 typed 字段或固定委派规则，从而阻止注入指令把动作重定向到攻击者目标。在三个骨干模型和七个任务套件上，标准模板化注入均未成功重定向动作，平均效用与 NRP、ERS 综合得分在对比防御中最高；面对已发布的强化学习攻击者，范围内平均攻击成功率为 .007。该方法无需防御触发的骨干重跑，几乎不增加模型调用。
正文 · AI 翻译
摘要：工具使用型智能体可对电子邮件、文件和支付执行操作，因此隐藏在网页或共享文档中的指令可能使智能体将数据或资金发送给攻击者。许多运行时防御将语言模型置于放行动作的决策环节，因此该决策依赖于一个可能读取攻击者文本的模型，并且每一步都会增加模型调用。来源防御让模型不参与最终检查，但需要模型先规划或路由每个任务。而动作的去向可以从工具的类型化返回值中读取：电子邮件的发件人或支付的账户以类型化字段到达，而注入的指令则以自由文本形式到达。SPILLWAY 将这一观察转化为一个无需逐任务计划的确定性底线。当工具输出中出现但用户任务中未出现的每个目标值，均由只读工具以类型化字段返回，或被固定委托规则覆盖时，该检查才允许调用。确定性净化器在模型读取之前，移除其固定规则匹配到的类指令区域，并保留被移除的片段作为证据；本地评判器可以恢复被拒绝的调用，但绝不恢复目标位于被移除文本中的调用。在三个骨干模型上，以及在其中一个上的七个任务套件中，在我们于该攻击下运行的防御中，没有任何标准模板化注入能在 SPILLWAY 下将动作重定向到攻击者的目标，同时达到最高的观测平均效用和综合得分（NRP、ERS）。伪造的聊天模板也会产生原始零值，而在已发布的强化学习攻击者下，平均范围内攻击成功率为 .007。SPILLWAY 无需防御触发的骨干模型重跑，且几乎不增加模型调用即可达到这一底线。随着个人 AI 智能体对用户的电子邮件、文件和支付执行操作，SPILLWAY 为其动作去向提供了一个可审计的拒绝底线，使其保持有用并跨骨干模型成立。
| 评论： | 早期版本已被第三届野外智能体研讨会：安全、保障与超越（NeurIPS 2026）接收。16 页。项目页面：此 https URL 代码和逐单元结果：此 https URL |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07222 [cs.CR] |
| （或 arXiv:2611.07222v1 [cs.CR] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.07222 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Woosang Lim [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 23:18:10 UTC（267 KB）
来源：arXiv cs.AI · arxiv.org