arXiv cs.CL· Yutong Ke, Yansu Wang, Zeyu Zhang, Xihao Guo, Chongwen Zhao, Kaizhu Huang·· 11 小时前AI 评分26
SAFETYEDIT：用稀疏内部目标与提示词级控制实现 LLM 越狱后门
SAFETYEDIT: Sparse Internal Targets with Prompt-Wide Control for LLM Jailbreak Backdoors
AI 导读
SAFETYEDIT 通过优化单个与拒答相关的 MLP 坐标，并在早期注意力层用 KV-cache 标记把前缀触发信号传播到后续指令位置，实现 LLM 越狱后门植入。在四个开源权重 LLM 和三个数据集组上，它在 12 项对比中 11 项取得最高触发 Guard ASR，12 项全部取得最高平均 StrongREJECT 分数。消融与行为审计显示，测试配置下未触发行为与通用能力变化总体很小。
正文 · AI 翻译
摘要：模型编辑后门旨在在触发条件下诱导有害响应，同时在未触发输入上保持正常行为。近期的模型编辑方法通过对一小部分模型权重进行秩一更新，来瞄准肯定式响应前缀。然而，当这一前缀级目标被满足时，模型仍可能退回拒绝，或生成连贯、表面上顺从但并未回应请求的响应。为克服这一局限，现有的内部表征方法将焦点从输出 token 转向潜在空间中稠密的高维顺从方向。现有表征级方法依赖保持约束来维持条件性，这促使我们思考：更小的内部目标能否提供不同的有效性—保持性权衡。受单坐标干预具有可比控制能力的启发，我们研究一个稀疏的、与拒绝相关的 MLP 坐标作为该目标。我们提出 SAFETYEDIT，它优化单个与拒绝相关的坐标，并在早期注意力层中使用 KV-cache 标记，将前缀触发信号传播到后续指令位置。在某些检查点上，下游 MLP 读取器将该信号转换为对该坐标的控制；而在另一些检查点上，仅传播的信号本身即已足够；该方法由稀疏目标而非固定的写入器—读取器对来定义。在四个开放权重 LLM 和三个数据集组上，相对于为每个模型评估的基线，SAFETYEDIT 在 12 项比较中的 11 项取得最高的触发 Guard ASR，并在全部 12 项中取得最高的平均 StrongREJECT 分数。至关重要的是，全面的消融和行为审计确认，在测试配置中，未触发行为和通用能力总体上变化极小。
| 评论： | 35 页，4 幅图；包含附录 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22640 [cs.CL] |
| （或 arXiv:2610.22640v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.22640 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yutong Ke [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 20:57:15 UTC（426 KB）
来源：arXiv cs.CL · arxiv.org