arXiv cs.AI· Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich·· 9 天前AI 评分22
通过 GRPO 实现语言模型的自适应红队攻防：学习攻击与防御
Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO
AI 导读
研究探索用 GRPO 训练语言模型的红队攻击与防御，通过多个 LLM 评判奖励通道并用 GDPO 计算优势以避免单一通道主导。方法采用从攻击方单轮、多轮训练到攻防交替协同训练的课程，产出高迁移性攻击，协同训练的防御方在保持通用效用的同时达到有竞争力的安全性。消融实验识别了影响安全与效用平衡的关键组件，并发现 GRPO 在训练中会削弱攻击方多样性。
正文 · AI 翻译
摘要：语言模型的安全性必须不断适应不断演变的攻击。近期研究表明，通过应用 PPO 风格的自博弈和 DPO 风格的在线偏好优化，可以使用强化学习同时训练出更强的攻击者和防御者模型。在本工作中，我们探索了 GRPO 在此设置下的有效性。协同训练可能具有挑战性，因为它需要联合优化攻击者和防御者的多个属性。因此，我们使用多个基于 LLM 评判器的奖励通道来塑造模型输出，并使用 GDPO 计算优势，从而防止任何单一通道占据主导。我们的方法采用一种课程，从仅攻击者的单轮和多轮训练逐步过渡到协同训练，在协同训练中攻击者和防御者模型交替更新。我们表明，该方法能产生高效且可迁移的攻击，并且协同训练的防御者能在保持通用实用性的同时达到有竞争力的安全性。通过受控消融实验，我们进一步确定了训练流程中哪些组件对安全性与实用性之间的最终平衡影响最大。最后，我们发现 GRPO 在训练过程中往往会导致攻击者多样性崩溃，并讨论了解决这一局限性的可能方法。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.09701 [cs.CL] |
| （或使用 arXiv:2606.09701v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.09701 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Blake Bullwinkel [查看电子邮件]
[v1]
2026年6月8日星期一 16:21:36 UTC（809 KB）
[v2]
2026年10月7日星期三 22:55:53 UTC（957 KB）
来源：arXiv cs.AI · arxiv.org