研究：内容不变仅加风格包装即可翻转 LLM 安全评审结论

查看 PDF HTML（实验性）

摘要：自动安全评判器——例如 Llama Guard，或给定评分提示的 GPT-4o——生成了所报告的越狱成功率、防御评估和安全排行榜背后的数字。我们追问这些评判器评判的是回复的内容，还是回复听起来的样子。我们在模型回复之前或之后放置一段固定文本（风格包装），并保持回复本身逐字节不变，因此判定结果的任何变化都是评判器的错误。在 600 多条 JailbreakBench 回复（300 条有害，300 条拒绝）、9 种包装、8 个评判器上，使用配对检验和测得的每个评判器重复不一致率（噪声下限），我们发现大多数评判器几乎不动，但特定评判器有特定的、廉价的盲点。在未改变的有害文本之前放置一个词元拒绝（“I can't help with that”），会使 GPT-4o-mini 正确“不安全”判定中的 19.9% 翻转为“安全”（噪声下限 0.5%；在三次多数重新评分下为 18.2%），而 Claude 仅移动 0.4%。已部署的 Llama Guard 4 防护模型在 12.3% 的有害回复上被“educational course”前言规避，且这些翻转在重复中持续存在，而第二个已部署的防护（gpt-oss-safeguard-20b）则免疫。仅将评分提示改为忽略语气，就能在相同模型上将 GPT-4o-mini 攻击削减约十倍，因此弱点存在于评判器中，而非内容中。纯语气装饰不添加任何新主张，在易受攻击的评判器上仍能翻转最多 2.1% 的判定，是其噪声下限的数倍。在这个工件集上，评判器对于哪个目标模型最安全也存在分歧，而自助法显示在添加任何包装之前排名就不稳定。我们发布数据、包装、代码和逐判定标签。

评论：	11 页，4 张表。代码、包装和逐判定标签：this https URL。“v2：将评判小组扩展到 8 个，测量所有 LLM 评判器的噪声下限，添加包含包装文本和评判提示的附录”
主题：	人工智能（cs.AI）
ACM 分类：	I.2.7; K.6.5
引用为：	arXiv:2609.08236 [cs.AI]
	（或 arXiv:2609.08236v2 [cs.AI] 用于此版本）
	https://doi.org/10.48550/arXiv.2609.08236 arXiv 颁发的 DOI 通过 DataCite

提交历史

来自：Yongxi Zhou [查看电子邮件]
[v1] 2026 年 9 月 8 日星期二 04:27:22 UTC（33 KB）
[v2] 2026 年 10 月 12 日星期一 02:16:44 UTC（36 KB）