arXiv cs.CL· Alexi Canesse, Mathis Le Bail, Ma\"el Jenny, Cl\'ement Elliker, Mahammed El Sharkawy, Sonia Vanier·· 10 天前AI 评分27
PatchBench：衡量激活修补附带损害的基准
PatchBench: Measuring Collateral Damage in Activation Patching
AI 导读
研究者推出 PatchBench，一个由 400 个高置信度越狱失败样本构成的基准，用于衡量 LLM 安全修补的附带损害。其评估协议 PatchBench-Local 为每个有害提示生成有害变体、结构匹配的良性提示和复用有害关键词的良性提示，以区分选择性修复与局部抑制。用该协议加 MMLU 评估四种激活引导方法发现，全局能力几乎不变时局部良性回归却很严重。
正文 · AI 翻译
摘要：一个 LLM 安全补丁可以通过基准测试，但仍然是一个糟糕的修复。这种风险在越狱修复中尤为突出，因为其目标是在不改变无关行为的情况下纠正特定的不安全行为。补丁可能阻止确切的评估提示，但在相近的有害变体上失败，或者通过过度拒绝与其措辞或结构相同的良性提示来抑制有害行为。现有协议主要测试模型是否可被攻破，而聚合指标（攻击成功率、拒绝率、全局能力）无法区分选择性修复与更广泛的局部抑制。为弥补这一空白，我们提出了 PatchBench，一个基于经验观察到的、能诱导可操作有害答案的模型特定越狱失败基准。我们从 37 个公开数据集的 27,870 条提示出发，整理出 15,314 条英文提示，并查询 8 个开源指令微调模型。结合 WildGuard 过滤、成对 Elo 排名和人工验证，我们保留了一个包含 400 个高置信度越狱失败的精选库。我们进一步提出了 PatchBench-Local，一种测试补丁是否行为精确的评估协议。对于每个有害源提示，PatchBench-Local 生成三类局部邻居：保留恶意意图的有害变体、结构匹配的良性提示，以及复用关键有害术语的良性提示。它评估有害邻居纠正和良性邻居保持，从而区分选择性修复与更广泛的局部抑制。使用 PatchBench-Local 和 MMLU 评估四种激活引导方法表明，全局能力可以几乎保持不变，而局部良性回归却很严重，证实聚合指标遗漏了重要的附带损害。PatchBench-Local 为开发和比较越狱修复方法提供了更精确的基础。
| 评论： | 已被 NeurIPS 2026（数据集与基准测试 Track）接收 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.10276 [cs.LG] |
| （或 arXiv:2610.10276v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10276 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Mahammed El Sharkawy [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 15:43:28 UTC（54 KB）
来源：arXiv cs.CL · arxiv.org