arXiv cs.AI· Ren-Jian Wang, Ke Xue, Zeyu Qin, Ziniu Li, Sheng Tang, Hao-Tian Li, Shengcai Liu, Zhi Yu, Yuanpeng Tan, Chao Qian·· 12 小时前AI 评分38
QDRT：为大语言模型自动生成高质量多样化攻击者的质量-多样性红队框架
Quality-Diversity Red-Teaming: Automated Generation of High-Quality and Diverse Attackers for Large Language Models
AI 导读
研究者提出质量-多样性红队框架 QDRT，通过行为条件训练与开放式行为回放缓冲区实现目标驱动的攻击多样性，并训练多个专门化攻击者覆盖不同攻击风格与风险类别。评估显示，QDRT 生成的攻击在 GPT-2、Llama-3、Gemma-2、Qwen2.5 及商用模型 GPT-4.1、GPT-5-Chat 上兼具更强多样性与攻击效果。代码已开源。
正文 · AI 翻译
摘要：确保大语言模型（LLM）的安全性与鲁棒性是一项根本性挑战，也是负责任地部署人工智能的关键前提。红队测试作为一种系统化框架，用于识别能诱使目标 LLM 产生有害响应的对抗性提示，已成为至关重要的安全评估范式。在该框架内，对抗性提示的多样性对于全面的安全评估至关重要。然而，以往的红队测试方法往往通过词频或句子嵌入相似度等简单指标来追求多样性，这可能无法捕捉攻击策略中有意义的差异。此外，训练单一攻击者模型的常见做法限制了对所有潜在攻击风格和风险类别的覆盖。本文提出质量-多样性红队测试（QDRT），这是一个旨在解决上述局限性的新框架。QDRT 通过行为条件训练实现目标驱动的多样性，并以开放式方式实现行为回放缓冲区。此外，它训练多个专门化的攻击者，能够在多样化的风格和风险类别中生成高质量攻击。我们的实证评估表明，QDRT 生成的攻击对广泛的目标 LLM 既更具多样性，也更有效，包括开源模型 \texttt{GPT-2}、\texttt{Llama-3}、\texttt{Gemma-2}、\texttt{Qwen2.5}，以及商业模型 \texttt{GPT-4.1} 和 \texttt{GPT-5-Chat}。这项工作通过为自动化红队测试提供系统且有效的方法，推动了 LLM 安全领域的发展，最终支持 LLM 的负责任部署。我们的代码可在 此 https URL 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2506.07121 [cs.LG] |
| （或针对此版本的 arXiv:2506.07121v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2506.07121 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chao Qian [查看邮箱]
[v1]
2025年6月8日周日 13:07:41 UTC（405 KB）
[v2]
2026年8月1日周六 10:21:24 UTC（465 KB）
[v3]
2026年10月21日周三 07:48:18 UTC（443 KB）
来源：arXiv cs.AI · arxiv.org