arXiv cs.AI· Minjia Mao, Shi Chen, Bowen Yin, Xiao Fang·· 10 天前AI 评分24
大语言模型中的大规模激活门控通道（MAGC）
Massive Activation Gating Channel in Large Language Models
AI 导读
研究发现，大语言模型中大规模激活（massive activations）的出现由 spike FFN 输入嵌入中的单一通道控制，该通道位置对特定 LLM 固定，被命名为大规模激活门控通道（MAGC）。
正文 · AI 翻译
摘要：大规模激活，即少数隐藏通道表现出异常大的幅值这一现象，在大型语言模型（LLM）中普遍存在。然而，一个 token 在预训练 LLM 中传播时如何产生大规模激活，其机制仍鲜为人知。在本文中，我们发现大规模激活的出现由 spike 前馈网络（FFN）输入嵌入中的单个通道控制。该通道的位置对于特定的 LLM 是固定的。我们将该通道命名为大规模激活门控通道（MAGC）。当 MAGC 的值足够大（或足够小，取决于 LLM）时，spike FFN 的输出会表现出大规模激活。通过考察四个模型家族、不同模型规模的六个 LLM，我们验证了 MAGC 的存在及其作用。我们进一步从理论上解释了 MAGC 诱导大规模激活的机制。当 MAGC 的值足够大（或足够小）时，spike FFN 的输出渐近地简化为一种二次形式，该形式混合了 FFN 下投影矩阵的少数几列。由于这些列呈现出大规模激活的形态，因此输出表现出大规模激活。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07661 [cs.AI] |
| （或 arXiv:2610.07661v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07661 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Minjia Mao [查看邮箱]
[v1]
2026年10月6日星期二 02:55:48 UTC（4,847 KB）
来源：arXiv cs.AI · arxiv.org