arXiv cs.CL· Rohan Menon, Chih-Hong Cheng·· 12 小时前AI 评分31
超越攻击成功率：评估迭代式 LLM 越狱的成本感知指标 ASR_STEP
Beyond Attack Success Rate: Cost-Aware Metric for Evaluating Iterative LLM Jailbreaks
AI 导读
研究提出 ASR_STEP 指标，在保留二元成功判定的同时对受害模型的额外调用进行惩罚，以弥补传统攻击成功率（ASR）忽略重复调用的缺陷。在 JailBreakBench 上对 GCG、带步数预算的 PAIR 和单步 PAP 基线跨三个模型族评测，GCG 折扣后分数下降 7.0-8.7 个百分点，PAP 保持不变，PAIR 的折扣区间为 3.4-12 个百分点。
正文 · AI 翻译
摘要：攻击成功率（ASR）用于评估针对大语言模型的越狱攻击，但未考虑对受害模型的重复调用。然而，每一次额外调用都会给已部署系统提供又一次检测攻击并干预的机会。我们引入 $\mathrm{ASR}_{\mathrm{STEP}}$，它在保留二元成功判定的同时，对额外的受害模型调用进行惩罚。我们的评估涵盖 GCG、带步数预算的 PAIR，以及单步 PAP 基线，在 JailBreakBench 上跨三个模型系列进行。GCG 的分数在折算后下降 7.0-8.7 个百分点，而 PAP 的分数保持不变。对于 PAIR 攻击，我们观察到更宽的折算范围，在 3.4-12 个百分点之间，表明“步数”这一量因迭代策略而异。同时报告这两项指标，使因重复与受害模型交互而产生的折算变得明确。代码可在此处获取：this https URL。
| 学科： | 密码学与安全（cs.CR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.26589 [cs.CR] |
| （或 arXiv:2610.26589v2 [cs.CR] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.26589 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Rohan Menon [查看邮箱]
[v1]
2026年10月19日 星期一 15:36:41 UTC（54 KB）
[v2]
2026年10月22日 星期四 08:39:36 UTC（54 KB）
来源：arXiv cs.CL · arxiv.org