arXiv cs.CL· Jialin Song, Xiaodong Liu, Weiwei Yang, Mingqian Feng, Chengquan Guo, Qiyao Ma, Carolyn Buractaon, Anson Ho, Wuyang Chen, Christopher White·· 10 小时前AI 评分31
CoFiBreak：面向多轮越狱的由粗到细多样性奖励方法
CoFiBreak: A Coarse-to-Fine Diversity Reward for Effective Multi-Turn Jailbreak
AI 导读
CoFiBreak 提出一种用于 GRPO 的由粗到细多样性奖励，在保持攻击有效性和低推理成本的同时提升多轮越狱攻击的多样性。以 Llama3.1-8B-Instruct 为受害模型训练后，在 HarmBench 上发现的不同细粒度成功策略数量为最强基线的 1.6-2.0 倍，在 AdvBench 上达到 98.8% ASR@10 且多样性得分为最强攻击基线的 2.1 倍。
正文 · AI 翻译
摘要：自动化红队测试训练一个攻击者大语言模型（LLM）来诱导受害者 LLM 产生有害回复，但当攻击成功是唯一奖励时，强化学习可能使攻击者坍缩到一组狭窄的提示上。这种攻击多样性的坍缩会使安全评估偏向于反复测试近乎重复的攻击模式，而非底层的恶意意图。现有方法往往以攻击成功率或推理成本为代价来换取更高的内容或策略多样性。我们提出 CoFiBreak，一种用于组相对策略优化（GRPO）的由粗到细多样性奖励，它在保持强攻击效果和低推理成本的同时提升攻击多样性。粗粒度奖励通过鼓励每个 GRPO 组内代表性不足的策略，拓宽攻击者所使用的策略范围；细粒度奖励则在从提示嵌入中移除恶意意图信息后，通过抑制重复使用相同的人设、框架和输出格式，拓宽这些策略的实现方式。多样性奖励仅适用于已经超过有效性阈值的攻击，因此无法通过无效攻击获得多样性。由于两种奖励都只在训练期间计算，CoFiBreak 还保持了推理效率。以 Llama3.1-8B-Instruct 作为受害者进行训练，在 HarmBench 上，CoFiBreak 针对前沿受害者模型发现的独特成功细粒度策略数量是最强基线的 1.6-2.0 倍。在 AdvBench 上，它达到 98.8% ASR@10（每个意图生成 10 次的攻击成功率），且多样性得分在所有对比方法中最高，是最强攻击基线的 2.1 倍。由此产生的攻击可迁移到未见过的前沿 LLM，在 AdvBench 上以未见过的受害者 Claude-Opus-4.6 达到 71.0% ASR@10。代码将发布。
| 评论： | 正文 10 页，全文 24 页，8 张图，12 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.40926 [cs.CL] |
| （或 arXiv:2610.40926v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40926 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jialin Song [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 19:51:36 UTC（706 KB）
来源：arXiv cs.CL · arxiv.org