arXiv cs.AI· Haoran Bu, Yiting Shen, Litian Zhang, Ruihan Hu, Xi Zhang·· 13 小时前AI 评分38
角色锚定攻击 RGA：通过社交互动篡改 Agent 记忆中的用户偏好
Is it my preference? Role Grounding Attack against Agent's Memory via Social Interaction
AI 导读
研究者提出角色锚定攻击（RGA），利用 LLM 智能体记忆系统的角色归属漏洞，通过嵌套对话结构让受害 Agent 把攻击者的偏好误记为自身用户的偏好。该攻击在记忆检索阶段持续生效，可实例化为工具选择操纵与隐私泄露两种形式。在五种主流记忆系统和六种语言模型上的评估显示，两种攻击均取得高成功率。
正文 · AI 翻译
摘要：基于 LLM 的智能体现在会在社交平台上分享经验并记住新的偏好以提升自身表现。然而，现有记忆系统在角色到主体的归属上存在漏洞，可被攻击者利用。我们识别出角色接地错误归属（Role Grounding Misattribution），即攻击者设计的交互会使受害智能体将来自攻击者的偏好错误地记录为受害智能体用户的偏好。具体而言，我们首次形式化了角色接地攻击（RGA），这是一种通过嵌套对话结构利用该漏洞的攻击模型。在记忆形成阶段，会发布一条引用攻击者智能体与其用户之间对话的经验分享帖，该帖明确标识了其发布者。内部对话表达了攻击者智能体用户的偏好。当受害智能体记住这一嵌套结构中的偏好时，其记忆丢失了上下文绑定，反而将攻击者的偏好接地到受害者的用户身上。在记忆检索阶段，被错误归属的偏好会持续存在，并在遇到相关场景时影响受害智能体的决策。我们将 RGA 实例化为工具选择操纵和隐私泄露。工具选择操纵会导致工具调用偏好被错误归属到受害者的用户，从而将受害者引导至攻击者控制的工具。隐私泄露则进一步将工具调用偏好和任务需求偏好都错误归属到受害者的用户。受害者选择攻击者的工具，随后在工具参数中包含敏感信息以满足任务需求。我们在五种主流记忆系统和六种语言模型上评估了 RGA。工具操纵和隐私泄露均实现了较高的攻击成功率。这些结果呼吁更强的角色接地。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.38209 [cs.CR] |
| （或 arXiv:2610.38209v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38209 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haoran Bu [查看邮箱]
[v1]
2026年10月28日 星期三 03:03:29 UTC（2,722 KB）
来源：arXiv cs.AI · arxiv.org