arXiv cs.AI· Xinyan Wang, Xiaogeng Liu, Jun Shao, Chaowei Xiao·· 13 小时前AI 评分58
研究发现自我进化会削弱个人智能体对间接提示注入的鲁棒性
Appreciation Teaches Unauthorized Execution: Self-Evolution Degrades the Robustness of Personal Agents to Indirect Prompt Injection
AI 导读
arXiv 论文研究自我进化是否削弱个人智能体对间接提示注入（IPI）的鲁棒性，设计了两阶段对照实验：适应阶段用户要求智能体读取外部内容并完成任务、智能体据用户反馈自我改进，测试阶段第三方把类似任务写入新内容但用户请求并未授权该任务。实验显示，相比不从用户反馈进化的基础智能体，技能进化下平均攻击成功率上升 14.0–48.8 个百分点，强化学习下上升 3.0–39.3 个百分点。代码已公开。
正文 · AI 翻译
摘要：自演化的个人智能体为用户执行任务，并从用户反馈中学习。然而，如果智能体执行了不受信任的第三方隐藏在内容中的指令，该第三方就获得了对智能体的控制权。这种间接提示注入（IPI）带来了严重风险。我们研究自演化是否会降低个人智能体对 IPI 的鲁棒性。为研究这一问题，我们设计了一种受控的两阶段方法。在适应阶段，用户要求智能体读取外部内容并完成其中描述的任务，这是日常使用中的常见请求。随后智能体从用户反馈中学习，并按设计进行自我改进。在测试阶段，第三方将类似任务写入新的外部内容，但用户的测试请求并未授权该注入任务。利用这一方法，我们为真实的个人智能体构建了多个任务，并在不同领域设置了多样化的测试实例。我们的大量实验表明，自演化会显著降低对 IPI 的鲁棒性。具体而言，与不从用户反馈中演化的基础智能体相比，在技能演化下平均攻击成功率上升 14.0--48.8 个百分点，在强化学习下上升 3.0--39.3 个百分点，构成安全风险。代码见 此 https URL
| 学科： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39122 [cs.CR] |
| （或 arXiv:2610.39122v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39122 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xinyan Wang [查看邮箱]
[v1]
2026年10月29日 星期四 01:10:18 UTC（3,295 KB）
来源：arXiv cs.AI · arxiv.org