arXiv cs.AI· Wonjun Lee, Kyungsik Yang, Gaeun Ji, Vaidehi Patil, Haon Park, Bumsub Ham, Mohit Bansal, Suhyun Kim·· 10 天前AI 评分22
LADE：从暗知识中提取模型无关的潜在安全信号以防护 LLM
Safeguarding LLMs via Model-Agnostic Latent Safety Signals from Dark Knowledge
AI 导读
研究者提出 LADE（Latent Safety Signals for Defense），通过对比有害与良性查询，从首个 token 输出概率分布的暗知识中提取潜在安全信号，并借助 Tokenizer Mapping 与 kNN 判别实现跨模型防护。该方法在多种 LLM 和基准上能抵御多种越狱攻击、降低攻击成功率，同时保持安全与效用的平衡，且不依赖特定模型架构。
正文 · AI 翻译
摘要：大语言模型（LLM）发展迅速，其安全性引发了越来越多的担忧。近期工作提出了检测和防御攻击的方法，包括在解码阶段利用模型隐藏状态的防御。然而，现有的解码阶段防御存在两个局限。第一，它们在安全性与过度拒答之间引入权衡，即加强安全性会降低模型对良性查询的有用性。第二，许多此类方法依赖内部隐藏状态，因而局限于特定架构，带来显著开销且跨模型泛化能力有限。为解决这些局限，我们提出 LADE（Latent Safety Signals for Defense，用于防御的潜在安全信号），它利用从首个 token 输出概率分布中的暗知识（即输出概率分布中超出其 argmax 所携带的信息）中，通过对比有害查询与良性查询所提取的潜在安全信号。我们的关键洞见是，除了表面层的拒答 token 之外，首个 token 分布中的暗知识还包含潜在安全信号，即概率在有害查询与良性查询之间差异显著的 token。我们表明，这些信号在各类 LLM 中一致对齐，形成了一种源自安全对齐的、与模型无关的方向。LADE 由三个部分组成：（1）从暗知识中提取潜在安全信号，从首个 token 概率分布中选取 top-k 个具有安全区分度的 token；（2）分词器映射，将这些 token 映射到不同分词器之间，以实现与模型无关的应用；（3）基于 kNN 的判别，通过对映射后的 token 进行 k 近邻搜索来对查询进行分类。在多种 LLM 和基准测试中，LADE 对广泛的越狱攻击具有鲁棒性，降低了攻击成功率，同时保持了具有竞争力的安全-效用权衡。
| 评论： | 项目页面：this https URL |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.07532 [cs.CR] |
| （或 arXiv:2610.07532v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07532 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Wonjun Lee [查看邮箱]
[v1]
2026年10月5日星期一 23:59:28 UTC（823 KB）
来源：arXiv cs.AI · arxiv.org