arXiv cs.AI· Xin Chen, Gil Kur, Alexander Shevchenko, Andreas Krause·· 10 天前AI 评分28
局部稀疏性实现无监督 LLM 安全检测
Local Sparsity Enables Unsupervised LLM Safety Detection
AI 导读
研究者提出基于局部掩码 SAE 的无监督异常检测框架，利用线性表示假设下邻近点共享小规模活跃支撑的特性识别 LLM 不安全输入，在多种架构和数据集上完成验证。当允许使用 1% 的分布外数据校准时，该方法达到接近最优的性能，且仅需 1-2% 的 SAE 神经元参与计算。该工作发表于 NeurIPS2026。
正文 · AI 翻译
摘要：大型语言模型（LLM）的部署时安全方法主要是监督式的，并假设可以访问不安全的训练数据。然而，新的攻击和危害类别会定期出现，而以此类监督方式训练的模型无法捕捉到它们。另一种方法是从异常检测的角度来看待这个问题，即仅依赖对安全数据建模并标记分布外输入。然而，LLM 激活值位于高维空间中，这引发了异常检测在统计上是否可行的担忧。我们表明，在线性表示假设（LRH）下，确实可能存在希望。在通常通过稀疏自编码器（SAE）恢复的 LRH 概念空间中，邻近的点共享一个小的共同活跃支撑集。利用这一局部稀疏性洞见，我们提出了一个基于局部掩码 SAE 的异常检测框架，并得到了理论支持。我们在各种架构和数据集上对其进行了验证，包括能力测试数据集和安全专用数据集。最后，当我们允许算法使用 1% 的分布外数据进行校准，局部稀疏方法达到了接近最优的性能，表明它们能够捕捉有意义的安全信息，同时仅使用 1-2% 的 SAE 神经元进行计算。
| 评论： | 发表于 NeurIPS2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.20129 [cs.LG] |
| （或使用 arXiv:2609.20129v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.20129 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Xin Chen [查看电子邮件]
[v1]
2026年9月17日星期四 12:23:04 UTC（461 KB）
[v2]
2026年10月5日星期一 18:05:40 UTC（455 KB）
来源：arXiv cs.AI · arxiv.org