arXiv cs.AI· Yuqing Huang, Jack Ji, Jithin Pradeep, Sagarika Suresh, Jekaterina Novikova·· 11 小时前AI 评分31
M³：将多轮越狱建模为马尔可夫决策过程的多 LLM 系统
$M^3$: A Multi-LLM System for Multi-Turn Jailbreaking as a Markov Decision Process
AI 导读
研究者提出自动化红队框架 M³，把多轮越狱形式化为有限时域马尔可夫决策过程，由攻击 LLM 与目标 LLM 交互，并借助状态 LLM 生成紧凑内部状态。在两个 benchmark、六个目标模型上，M³ 的 ASR@5 最高提升 53%；即使使用轻量攻击模型，ASR@1 和 ASR@5 也分别提升 26% 和 34%。该框架不依赖预定义风险分类，Gini 指数最多改善 4.82。
正文 · AI 翻译
摘要：现代大型语言模型（LLM）仍然容易受到精心编排的多轮交互的影响，这类交互会逐步绕过安全机制。然而，许多现有的红队测试方法依赖启发式规则或施加较强的假设，限制了它们在完全黑盒环境中的适用性。为弥补这一空白，我们提出了 $M^3$，一个自动化红队测试框架，它将多轮越狱形式化为有限时域马尔可夫决策过程（MDP）。在 $M^3$ 中，攻击者 LLM 与目标 LLM 交互，同时在一个由状态 LLM 生成的紧凑内部状态上运行。在两个基准和六个目标模型上，$M^3$ 在攻击成功率（ASR）方面始终优于最先进的多轮红队测试方法，在 ASR@5 上最高提升 53%。即使使用轻量级攻击者，与使用更高容量攻击者的基线相比，$M^3$ 在 ASR@1 和 ASR@5 上也分别获得最高 26% 和 34% 的提升。除了有效性提升之外，$M^3$ 在对话轮次上表现出更陡峭的风险升级，并在各风险类别上实现更一致的性能（Gini 指数最高提升 4.82），且不依赖预定义的风险分类体系，为多轮红队测试和安全评估提供了一个可扩展且有原则的框架。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.31937 [cs.AI] |
| （或 arXiv:2610.31937v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31937 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuqing Huang [查看电子邮件]
[v1]
2026年10月22日星期四 21:35:21 UTC（10,595 KB）
来源：arXiv cs.AI · arxiv.org