arXiv cs.AI· Jingnan Zheng, Dongcheng Zhang, Yi Zhang, Ming Zhang, Qiaosheng Zhang, Youbang Sun, An Zhang, Xiangnan He, Tat-Seng Chua, Xia Hu, Bowen Zhou, Chaochao Lu, Xiang Wang·· 9 天前AI 评分42
ReSI：面向抗攻击与韧性 AI 的递归安全改进框架
ReSI: Recursive Safety Improvement toward Resistant and Resilient AI
AI 导读
研究者提出递归安全改进框架 ReSI，通过自动化研究在每轮用多种红队方法找出当前模型漏洞、开发训练配方，并在能力保持的 Pareto 门控下选择安全增益最大的更新作为下一目标模型。
正文 · AI 翻译
作者：Jingnan Zheng、Dongcheng Zhang、Yi Zhang、Ming Zhang、Qiaosheng Zhang、Youbang Sun、An Zhang、Xiangnan He、Tat-Seng Chua、Xia Hu、Bowen Zhou、Chaochao Lu、Xiang Wang
摘要：递归自我改进，即 AI 系统参与提升自身能力，正开始从理论前景走向实践，这为安全对齐带来了挑战与机遇。模型通过频繁更新而演进，其安全对齐需要持续适应每一个新的检查点。与此同时，随着不断演进的红队测试方法暴露出新的漏洞，每个检查点的安全改进都需要缓解已暴露的漏洞，并泛化到尚未揭示的风险。继 R$^2$AI 之后，我们将这些目标称为对已知威胁的抵抗力和对未预见风险的韧性。递归自我改进反过来为这两个目标提供了一条路径：安全对齐同样可以通过连续的评估与更新轮次来推进。因此，我们提出了 ReSI，一个通过自动化研究实现该方法的递归安全改进框架。在每一轮中，ReSI 应用多样化的红队测试方法识别当前目标模型中的漏洞，制定训练方案，并在通过能力保持帕累托门槛的方案中，将安全增益最大的更新提升为下一个目标模型。在四个稠密模型和混合专家模型上，ReSI 在分布内和分布外安全基准上达到或超过了所评估的前沿模型，并在几乎所有安全评估中优于对齐基线，同时基本保持了通用能力。特别地，ReSI 将四个模型的平均 X-Teaming 攻击成功率从 86.01% 降至 31.45%，远低于 GPT-5.6-Luna 领先的前沿结果 56.69%，表明对训练期间未见攻击具有更强的韧性。这些发现支持将递归安全改进作为通往具有抵抗力和韧性的 AI 的一条切实路径。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.12233 [cs.CR] |
| （或 arXiv:2610.12233v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12233 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Jingnan Zheng [查看电子邮件]
[v1]
2026年10月8日星期四 16:17:21 UTC（1,668 KB）
来源：arXiv cs.AI · arxiv.org