arXiv cs.AI· Peng Yu, Xiaoyu Wen, Zhida He, Ziyuan Zhou, Han Qi, Shao Zhang, Qiaosheng Zhang, Ying Wen, Chaochao Lu·· 4 小时前AI 评分32
DACE:面向鲁棒 LLM 安全对齐的多样性驱动对抗协同进化框架
DACE: Diversity-Driven Adversarial Co-Evolution for Robust LLM Safety Alignment
AI 导读
DACE 是一个多样性驱动的对抗协同进化框架,同时针对攻击策略坍缩与防御方对抗遗忘两个训练病理。攻击侧引入“风险类别×攻击风格”二维策略空间与归一化边际覆盖增益奖励,防御侧维护 Beta–Bernoulli 威胁后验的贝叶斯对抗回放池,按时间衰减刷新并用 Thompson sampling 采样。
正文 · AI 翻译
摘要:随着对抗攻击不断演化并超越基于预先收集数据构建的对齐流水线,确保大语言模型(LLMs)具有稳健的安全对齐正变得越来越困难。现有的协同演化框架让防御方追赶不断移动的攻击方,然而其训练动态暴露出两种相互叠加的病症:\emph{攻击策略坍缩},即攻击方过拟合于一小部分高奖励改写;以及\emph{防御对抗遗忘},即随着攻击分布漂移,防御方对早期攻击丧失防御能力。现有补救措施并不完整:攻击方侧的多样性奖励衡量的是文本新颖性而非策略新颖性,防御方侧的回放依赖离散的评判分数,忽略了估计不确定性、响应随机性和防御方非平稳性。我们提出 \textbf{\method},一个多样性驱动的对抗协同演化框架,同时针对这两种病症。在攻击方侧,\method 将显式的二维策略空间(风险类别 $\times$ 攻击风格)与\emph{归一化边际覆盖增益}奖励相结合,在策略层提供有界且不消失的探索信号。在防御方侧,\method 维护一个统一的\emph{贝叶斯对抗回放池},其 Beta--Bernoulli 威胁后验通过时间衰减刷新,并经 Thompson 采样抽取,从而将防御方训练锚定于不断演化的威胁态势。在标准安全、自动化攻击和通用能力基准上,\method 提升了对分布外攻击的鲁棒性,同时保持通用能力,并带来更广的攻击方策略覆盖。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.22278 [cs.AI] |
| (或 arXiv:2611.22278v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22278 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Peng Yu [查看邮箱]
[v1]
2026年11月17日星期二 06:27:03 UTC(466 KB)
来源:arXiv cs.AI · arxiv.org