arXiv cs.AI· Micha{\l} Burzy\'nski, Noah T. Rossi, Shomit Basu, Andy Arditi·· 13 小时前AI 评分38
通过模型课程发现越狱提示词：CoM 方法在 gemma-4-31b-it 与 gpt-oss-120b 上的评估
Discovering Jailbreaks via Curriculum of Models
AI 导读
研究者提出 Curriculum of Models（CoM），通过让调查模型依次对抗从易到难的多个目标模型修改版本，缓解安全训练目标几乎全部拒答导致的稀疏奖励问题。
正文 · AI 翻译
摘要：自动化越狱发现旨在寻找能够诱导经过安全训练的语言模型产生被禁止行为的提示，帮助开发者在部署前识别漏洞。其中一类方法使用强化学习训练一个调查者模型，使其生成能够诱导目标模型产生指定行为的提示。然而，直接针对经过安全训练的目标进行训练很困难，因为几乎所有提示都会被拒绝，导致调查者只能获得稀疏的奖励信号。先前的工作通过倾向性边界（PRBO）来解决这一问题，PRBO 是一种代理奖励，通过从更顺从的目标中采样回复来估计，然后根据这些回复在原始目标下出现的可能性进行调整。
我们提出了模型课程（CoM），这是一种替代方法，它针对目标的一系列修改版本训练调查者，从容易表现出指定行为的版本逐步过渡到原始目标。对于越狱发现，训练从很少拒绝有害请求的目标版本开始，一旦调查者能够可靠地从当前版本中诱导出该行为，就推进到下一个更难的版本。
我们在涉及 CBRN 材料、爆炸物和非法药物的诱导任务上评估了 CoM，使用了两个开放权重目标：gemma-4-31b-it 和 gpt-oss-120b。我们与 PRBO 以及在没有课程的情况下直接针对原始目标进行训练的方法进行了比较。当调查者被训练来诱导单一行为时，CoM 比任一基线都更可靠地找到成功的越狱。当同时训练多种行为时，经 CoM 训练的调查者能够诱导出留出的行为，尽管经 PRBO 训练的调查报告者取得了更高的成功率。我们的结果表明，对目标模型采用简单的课程为解决稀有行为诱导中的稀疏奖励问题提供了一种有前景的方法。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38833 [cs.LG] |
| （或 arXiv:2610.38833v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38833 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Andy Arditi [查看电子邮件]
[v1]
2026年10月28日星期三 20:23:32 UTC（621 KB）
来源：arXiv cs.AI · arxiv.org