arXiv cs.AI· Chengquan Guo, Xiaodong Liu, Weiwei Yang, Mingqian Feng, Jialin Song, Qiyao Ma, Carolyn Buractaon, Christopher White, Bo Li, Jianfeng Gao·· 13 小时前AI 评分44
注入位置很重要：LLM 智能体中的信任区域效应
Where You Inject Matters: The Trust Region Effect in LLM Agents
AI 导读
研究构建了覆盖工具使用、编程和日常工作流的三类智能体测试平台，发现保持注入内容不变时，LLM 智能体对间接提示注入的易感性随注入位置而变化，作者将这一现象称为信任区域效应。
正文 · AI 翻译
摘要：LLM 智能体在长时程任务中被越来越多地采用，并与多样化的外部环境交互。尽管能力不断增强，这些智能体仍易受现实世界攻击的影响，例如间接提示注入，即通过嵌入外部环境中的恶意指令来操纵智能体。现有的风险评估工作主要关注注入内容，而注入出现位置的影响尚未得到系统刻画。研究注入位置需要智能体在更长时程任务中运行，并与多样化的环境表面交互。因此，我们构建了三个智能体测试平台，涵盖工具使用、编码和日常工作流领域，并具有多样化的注入表面。在保持注入内容不变的情况下，我们发现智能体的易感性随注入位置而变化。我们将这一现象称为信任区域效应：智能体对其环境的不同区域隐式地赋予不同水平的信任。例如，由 GPT-5.4 驱动的智能体对放置在仓库文档文件（即 README 或 TODO 文件）中的不安全注入指令的遵循频率，平均是同一指令放置在代码或数据文件中的 2.6 倍。基于这一观察，我们开发了基于学习的攻击者，用于生成注入内容并选择更优的注入位置。我们的方法表明，注入放置的位置和包含的内容都会影响间接提示注入攻击的强度。据我们所知，这项工作首次系统刻画了不同注入位置的有效性，涵盖粗粒度的环境表面和细粒度的位置。智能体在其环境中隐式赋予的不均衡信任，为未来的攻击与防御设计提供了重要启示。
| 主题： | 人工智能（cs.AI）；密码学与安全（cs.CR）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.38867 [cs.AI] |
| （或 arXiv:2610.38867v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38867 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chengquan Guo [查看电子邮件]
[v1]
2026年10月28日星期三 20:40:04 UTC（208 KB）
来源：arXiv cs.AI · arxiv.org