arXiv·· 12 天前AI 评分24
大语言模型中的大规模激活门控通道（MAGC）
Massive Activation Gating Channel in Large Language Models
AI 导读
研究发现，大语言模型中少数隐藏通道出现极大数值的"大规模激活"现象，由 spike 前馈网络（FFN）输入嵌入中的单个通道控制，该通道位置对特定 LLM 固定不变，被命名为大规模激活门控通道（MAGC）。
来源：arXiv · arxiv.org
大语言模型中的大规模激活门控通道（MAGC）