跳到正文
arXiv cs.AI· Yuqi Jia, Hangsheng Zhang, Chenxi Liu, Junjie Liang, Xun Chen·· 12 小时前AI 评分39

ReMAS:用强化学习对多智能体系统做黑盒红队测试

Black-Box Red-Teaming of Multi-Agent Systems via Reinforcement Learning

AI 导读

研究者提出 ReMAS,首个面向多智能体系统(MAS)的强化学习红队框架,通过微调攻击者 LLM 生成对抗提示词以提取系统提示词。该框架分两步:改写阶段优化基础攻击提示词,模板生成阶段构造更易调用特定子智能体的攻击模板。实验显示其攻击成功率显著高于现有黑盒攻击方法,并可跨不同后端 LLM 与 MAS 结构迁移。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)智能体正越来越多地部署在多智能体系统(MAS)中,以完成复杂任务。此前的黑盒红队攻击主要针对单个智能体,但我们发现这些方法在 MAS 中效果远不如预期,因为多个子智能体可能并不直接与用户交互。因此,我们提出了 ReMAS,这是首个专为 MAS 定制的基于强化学习的红队框架,它微调攻击者 LLM 以生成有效的对抗性提示,用于系统提示提取。该框架遵循两步流程:首先,重写阶段优化基础攻击提示以提高提取成功率;其次,模板生成阶段构建攻击模板,以提高调用特定子智能体并进而泄露其系统提示的可能性。大量实验表明,与现有的黑盒攻击相比,我们的方法大幅提高了攻击成功率,并且可迁移到不同的后端 LLM 和 MAS 结构。这些结果凸显了多智能体系统的脆弱性,以及开发更强防御以抵御自适应黑盒对手的重要性。
主题: 密码学与安全(cs.CR);人工智能(cs.AI)
引用为: arXiv:2610.28966 [cs.CR]
  (或 arXiv:2610.28966v1 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.28966

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yuqi Jia [查看邮箱]
[v1] 2026年10月20日星期二 22:32:22 UTC(212 KB)

来源:arXiv cs.AI · arxiv.org