arXiv cs.CL· Atharv Singh Patlan, Peiyao Sheng, S. Ashwin Hebbar, Prateek Mittal, Pramod Viswanath·· 12 小时前AI 评分58
跨用户投毒:多用户协作语言智能体的用户与任务边界失效
Cross-User Poisoning: User-Task Boundary Failures in Multi-User Collaborative Language Agents
AI 导读
论文提出跨用户投毒(CUP)问题:攻击者向共享上下文注入消息,该消息会在智能体服务其他正常用户时被应用,导致越权操作或超出指令范围的回复。作者在 Continua 和 ElizaOS 两个已部署的多用户智能体上验证了 CUP,并推出 MURMUR 框架用于评估并发多用户交互下的共享上下文智能体。
正文 · AI 翻译
摘要:语言智能体正从单用户助手转变为工作区、论坛和群聊中的共享协作者。共享智能体会观察来自多个用户的交错消息,维护持久上下文并执行工具操作,这产生了一个标准单用户智能体所没有的边界问题:智能体不仅需要判断某条指令是否安全,还必须判断它被允许管辖哪个用户或任务。我们识别出跨用户投毒(CUP),即攻击者向共享上下文中注入一条消息,该消息随后在智能体为良性用户服务时被应用,导致超出指令预期范围的未授权操作或响应。我们在两个已部署的多用户智能体 Continua 和 ElizaOS 上验证了 CUP,并提出了 MURMUR,一个用于评估并发多用户交互下共享上下文智能体的框架。在 Slack、Workspace 和 Airline 领域,CUP 实现了高攻击成功率,能在后续交互中持续存在,并且效果显著优于匹配的提示注入攻击。我们评估了边界限定防御,发现仅靠上下文摘要并不充分,而任务聚类和来源提示能大幅减少非自适应传播。这些结果表明,稳健的多用户智能体需要明确的用户/任务范围限定,而非通用的输入过滤或上下文压缩。
| 评论: | 第40届神经信息处理系统大会(NeurIPS 2026) |
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2511.17671 [cs.CR] |
| (或本版本的 arXiv:2511.17671v2 [cs.CR]) | |
| https://doi.org/10.48550/arXiv.2511.17671 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Atharv Singh Patlan [查看邮箱]
[v1]
2025年11月21日星期五 04:56:37 UTC(3,160 KB)
[v2]
2026年10月26日星期一 18:48:34 UTC(3,820 KB)
来源:arXiv cs.CL · arxiv.org