arXiv cs.AI· Rongting Zhang, Martin Bertran, Sandeep Avula, Chia-Jung Lee, Vanessa Murdock·· 11 小时前AI 评分42
超越指令覆盖：用任务篡改攻击评测间接提示注入
Beyond Instruction Override: Benchmarking Indirect Prompt Injection with Task-Tampering Attacks
AI 导读
研究者提出按“权限”而非指令式措辞定义间接提示注入（IPI）：植入内容试图影响其来源无权决定的决策即构成攻击。新基准覆盖三个工具使用环境的 90 个验证案例，攻击篡改良性任务所需的决策而非替换任务，可针对智能体的目标、决策规则、可用动作、预期后果、观测解读或状态信念六处。
正文 · AI 翻译
摘要：间接提示注入（IPI）基准测试主要测试的是植入式指令，这些指令将使用工具的智能体重定向到攻击者选定的任务。然而，攻击者控制的内容也可以转而篡改正在进行中的任务的结果。买方的争议证据可以引用虚假的退款政策来抬高退款金额，而不改变任务本身。我们依据权威性而非类似指令的措辞来定义 IPI：当植入内容试图影响其来源无权决定的决策时，该内容即构成攻击。我们引入了一个使这一边界明确化的基准：在三个工具使用环境中的 90 个经过验证的案例中，每个案例的用户请求都指定了解析目标决策的来源。每一次攻击都篡改良性任务所需的决策，而不是替换该任务。每个案例都包含具有相同有害结果的攻击，这些攻击针对智能体决策制定的多达六个部分：其目标、决策规则、可用动作、预期后果、对观测的解读，或对当前状态的信念。在没有防御的情况下，在五个 LLM 中，针对其他五个目标中三个（决策规则、可用动作和状态）的攻击的平均成功率高于针对目标的攻击。一种检测与移除防御将针对目标的攻击降至 2.4% 的成功率，但使针对观测和状态的攻击分别保持在 9.5% 和 12.1%；这一差距在针对检测优化的改写下依然存在。一种工具策略防御仍允许 15.4% 的攻击成功率，接近无防御时的 17.0%，因为这些攻击通常保留预期工具并操纵执行期间获得的值。因此，那些攻击重定向任务或仅针对智能体目标的评估可能会高估这些防御的覆盖范围。代码和数据可在 此 https URL 获取。
| 评论： | 34 页，6 幅图。代码和数据：此 https URL |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07640 [cs.CR] |
| （或 arXiv:2611.07640v1 [cs.CR] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.07640 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rongting Zhang [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 08:25:27 UTC（377 KB）
来源：arXiv cs.AI · arxiv.org