跳到正文
arXiv cs.CL· Hussein Jawad, Nicolas J-B Brunel·· 9 小时前AI 评分39

ToolFlood:通过语义覆盖将有效工具从 LLM 智能体检索结果中隐藏

ToolFlood: Beyond Selection -- Hiding Valid Tools from LLM Agents via Semantic Covering

AI 导读

ToolFlood 是一种针对工具增强型 LLM 智能体的检索层攻击,通过注入少量攻击者控制的工具,利用嵌入空间几何特性让这些工具覆盖大量用户查询、占据 top-k 结果,从而把所有良性工具挤出智能体上下文。该方法采用两阶段对抗工具生成策略,在 ToolBench 大规模工具库上以约 1% 的注入率实现最高 95% 的攻击成功率。论文已被 EACL 2027 主会接收,代码已公开。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)智能体越来越多地使用外部工具来完成复杂任务,并依赖基于嵌入的检索来选取少量 top-$k$ 子集进行推理。此前针对此类系统的攻击研究聚焦于工具选择环节,并假设良性工具仍会保留在检索结果集中;而生成该结果集的检索阶段的鲁棒性则研究不足。本文提出 ToolFlood,一种针对工具增强型 LLM 智能体的检索层攻击。ToolFlood 并不改变检索后所选中的工具,而是攻击检索本身:它注入少量由攻击者控制的工具,这些工具的元数据经过精心定位以利用嵌入空间的几何特性,使其在语义上覆盖大量用户查询、主导 top-k 结果,并将所有良性工具挤出智能体的上下文。
ToolFlood 采用两阶段对抗性工具生成策略。首先对目标查询进行子集采样,并利用 LLM 迭代生成多样化的工具名称和描述。随后运行迭代贪心选择,在余弦距离阈值下挑选能最大化覆盖嵌入空间中剩余查询的工具,当所有查询均被覆盖或达到预算时停止。我们给出了检索饱和的理论直觉,并在大型工具目录(ToolBench)上表明,ToolFlood 在约 1\% 的注入率下可达到高达 95\% 的攻击成功率。代码见:this https URL
评论: 已被 EACL 2027(主会)接收
主题: 计算与语言(cs.CL)
引用为: arXiv:2603.13950 [cs.CL]
  (或 arXiv:2603.13950v2 [cs.CL] 为本版本)
  https://doi.org/10.48550/arXiv.2603.13950

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Hussein Jawad [查看邮箱]
[v1] 2026年3月14日 星期六 13:54:49 UTC(359 KB)
[v2] 2026年11月17日 星期二 14:07:57 UTC(480 KB)

来源:arXiv cs.CL · arxiv.org