arXiv cs.AI· Roman Belaire, Arunesh Sinha, Pradeep Varakantham·· 3 天前AI 评分32
用分层强化学习对对话 LLM 进行红队测试
There are Levels to It: Red Teaming Dialogue With Hierarchical Reinforcement Learning
AI 导读
研究者提出一种分层强化学习红队测试范式，将红队测试形式化为马尔可夫决策过程，以最大化多轮交互的预期累积危害。其生成式智能体借助 token 级危害奖励学习多样化多轮攻击，可持续发现绕过基线的 LLM 漏洞，并取得新的 SOTA。该工作被 NeurIPS 2026 收录。
正文 · AI 翻译
摘要：红队测试对于保障大型语言模型的安全至关重要，然而当前自动化方法仍受限于模板和单轮攻击。为模拟现实世界对抗攻击的复杂交互特性，我们引入了一种新颖的红队测试范式，旨在通过策略性交互最大化预期累积危害。通过将红队测试形式化为分层强化学习框架中的马尔可夫决策过程，我们应对了稀疏奖励和长时程规划的挑战。我们的生成式智能体利用词元级危害奖励学习多样化的多轮攻击，持续发现可绕过基线的漏洞。该方法达到了新的最先进水平，并将 LLM 红队测试重新定义为一个有原则的、基于轨迹的过程。
| 评论： | NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2508.04451 [cs.LG] |
| （或 arXiv:2508.04451v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2508.04451 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Roman Belaire [查看电子邮件]
[v1]
2025年8月6日星期三 13:52:00 UTC（2,043 KB）
[v2]
2026年10月13日星期二 01:53:44 UTC（1,893 KB）
来源：arXiv cs.AI · arxiv.org