arXiv cs.AI· Zixuan Weng, Haoqi He, Weifei Jin, Yue Huang, Yang Bai·· 6 天前AI 评分34
Attention Sees, MLP Refuses：追踪 LLM 中从注意力到 MLP 的安全通路
Attention Sees, MLP Refuses: Tracing the Attention-to-MLP Safety Pathway in LLMs
AI 导读
研究将 LLM 安全失效重构为通路问题，在 18 组 Base-Instruct 模型对（覆盖 Qwen、Llama、Gemma）中发现，有害性更易从注意力更新中解码，尤其在前层，而 MLP 更新在对齐模型中更强地参与有害选择性拒绝写入。
正文 · AI 翻译
摘要：安全对齐的大型语言模型（LLM）仍然容易受到越狱攻击，并且可能过度拒绝良性请求。理解这些失败需要区分危害性识别与写出拒绝的计算。我们将此重新表述为一个路径问题，并使其在仅解码器 Transformer 的残差流更新上可测量，将模块更新所暴露的危害性信息与其在可读拒绝证据中产生的变化区分开来。在涵盖 Qwen、Llama 和 Gemma 的 18 个 Base-Instruct 配对中，危害性更容易从注意力更新中解码出来，尤其是在早期层，而 MLP 更新在对齐模型中对危害选择性拒绝写作的贡献更强。后训练在所有 18 个配对中都增强了 MLP 拒绝写作，但没有系统性地提高危害性可解码性，而正向 MLP 写作在后训练后更集中于更深的层。在六个支持推理的模型中，危害性在推理过程中仍然可解码，而强拒绝写作集中在答案开始时，这一模式在禁用推理时仍然存在。因果干预进一步支持这一路径：将下游 MLP 更新重置为其干净值，可大幅减少由上游注意力干预引起的拒绝偏移。基于这些发现，我们引入了 Sentinel，它结合了注意力衍生的感知分数 P 与 MLP 衍生的决策分数 D。它们的联合特征刻画了越狱和过度拒绝，并且使用这两个信号进行条件路由，在八个模型上实现了比单信号路由和所评估的固定提醒更低的总体错误率。
| 评论： | 预印本 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.13078 [cs.AI] |
| （或 arXiv:2610.13078v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13078 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：ZIxuan Weng [查看电子邮件]
[v1]
2026年10月9日星期五 06:34:26 UTC（897 KB）
来源：arXiv cs.AI · arxiv.org