跳到正文
arXiv cs.CL· Atharv Singh Patlan, Peiyao Sheng, S. Ashwin Hebbar, Prateek Mittal, Pramod Viswanath·· 12 小时前AI 评分58

跨用户投毒:多用户协作语言智能体的用户与任务边界失效

Cross-User Poisoning: User-Task Boundary Failures in Multi-User Collaborative Language Agents

AI 导读

论文提出跨用户投毒(CUP)问题:攻击者向共享上下文注入消息,该消息会在智能体服务其他正常用户时被应用,导致越权操作或超出指令范围的回复。作者在 Continua 和 ElizaOS 两个已部署的多用户智能体上验证了 CUP,并推出 MURMUR 框架用于评估并发多用户交互下的共享上下文智能体。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语言智能体正从单用户助手转变为工作区、论坛和群聊中的共享协作者。共享智能体会观察来自多个用户的交错消息,维护持久上下文并执行工具操作,这产生了一个标准单用户智能体所没有的边界问题:智能体不仅需要判断某条指令是否安全,还必须判断它被允许管辖哪个用户或任务。我们识别出跨用户投毒(CUP),即攻击者向共享上下文中注入一条消息,该消息随后在智能体为良性用户服务时被应用,导致超出指令预期范围的未授权操作或响应。我们在两个已部署的多用户智能体 Continua 和 ElizaOS 上验证了 CUP,并提出了 MURMUR,一个用于评估并发多用户交互下共享上下文智能体的框架。在 Slack、Workspace 和 Airline 领域,CUP 实现了高攻击成功率,能在后续交互中持续存在,并且效果显著优于匹配的提示注入攻击。我们评估了边界限定防御,发现仅靠上下文摘要并不充分,而任务聚类和来源提示能大幅减少非自适应传播。这些结果表明,稳健的多用户智能体需要明确的用户/任务范围限定,而非通用的输入过滤或上下文压缩。
评论: 第40届神经信息处理系统大会(NeurIPS 2026)
主题: 密码学与安全(cs.CR);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2511.17671 [cs.CR]
  (或本版本的 arXiv:2511.17671v2 [cs.CR])
  https://doi.org/10.48550/arXiv.2511.17671

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Atharv Singh Patlan [查看邮箱]
[v1] 2025年11月21日星期五 04:56:37 UTC(3,160 KB)
[v2] 2026年10月26日星期一 18:48:34 UTC(3,820 KB)

来源:arXiv cs.CL · arxiv.org