跳到正文
arXiv cs.AI· Xurui Li, Kaisong Song·· 4 小时前AI 评分31

MACE:MCTS 引导的对抗共进化框架,用于 LLM 安全对齐

From Strategy Search to Policy Learning: MCTS-Guided Adversarial Co-Evolution for LLM Safety Alignment

AI 导读

研究者提出 MACE,一个 MCTS 引导的对抗共进化框架,将搜索转化为攻击方与防御方的策略学习信号。其 GS-MCTS 组件探索多步改写算子组合,AC-TGPO 组件利用成功频率与路径深度做难度感知的组相对信用分配。在六个模型-数据集设定中,攻击方 ASR-LR 全部最高,防御方将平均 ASR-LR 从最佳基线的 11.9% 降至 8.8%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)日益为面向 Web 的应用提供支持,包括对话助手和内容服务,在这些应用中,开放的用户交互使其面临各种安全威胁和自适应攻击。特别是,越狱攻击者会反复改写有害请求以绕过安全对齐。尽管现有研究集中于防御动态越狱,但它们通常将发现的攻击保留为扁平样本,并丢弃关于这些攻击是如何被发现的信息。在本文中,我们提出 MACE,一个由 MCTS 引导的对抗性协同进化框架,它将搜索转化为攻击者和防御者双方的政策学习信号。其搜索组件 GS-MCTS 探索重写算子的多步组合,并将发现的攻击与经验成功频率和路径深度相关联。其优化组件 AC-TGPO 利用这些统计信息进行难度感知的组相对信用分配,并从当前交互、最新攻击者与先前防御者之间的配对,以及经受住防御更新的攻击中构建时间非对称课程。因此,MACE 将搜索结构与回合内策略优化和跨回合记忆联系起来,而不是仅使用 MCTS 生成攻击或将每一回合视为扁平的对抗数据集。移除难度感知加权、非对称样本或持久困难样本分别使防御 ASR-LR 增加 3.7%、6.0% 和 5.0%。在评估的模型中,所得攻击者在所有六种模型—数据集设置中均取得最高 ASR-LR,而防御者将平均 ASR-LR 从最佳基线的 11.9% 降至 8.8%。
评论: 已被 WSDM 接收,即将发表,更新 arXiv,版本
主题: 密码学与安全(cs.CR);人工智能(cs.AI)
引用为: arXiv:2511.19218 [cs.CR]
  (或 arXiv:2511.19218v3 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2511.19218

由 DataCite 颁发的 arXiv DOI

相关 DOI: https://doi.org/10.1145/3862322.3863664

链接到相关资源的 DOI

提交历史

来自:Xurui Li [查看电子邮件]
[v1] 2025 年 11 月 24 日星期一 15:23:41 UTC(1,042 KB)
[v2] 2025 年 11 月 26 日星期三 15:12:18 UTC(1,041 KB)
[v3] 2026 年 11 月 17 日星期二 04:10:48 UTC(7,622 KB)

来源:arXiv cs.AI · arxiv.org