MoA：面向 LLM 的 token 自适应激活混合 FFN 层设计

查看 PDF

摘要：前馈网络（FFN）层在基于 Transformer 的大语言模型（LLM）中占据了很大比例的参数和非线性表达能力。尽管从 ReLU 和 GELU 演进到了 SwiGLU 等门控变体，大多数 FFN 设计仍然使用单一固定的激活函数，对所有 token 施加相同的非线性变换。在本工作中，我们提出了激活混合（Mixture of Activations，MoA），这是一种 token 自适应的 FFN 设计，它使用轻量级的输入相关门控来混合一个激活函数字典，同时共享相同的线性投影。作为与输入无关的对应方案，我们还引入了可学习激活（learnable activations，LA），它为 ReLU 型和 SwiGLU 型 FFN 构建激活函数的线性组合。在理论上，我们建立了固定激活 FFN、LA 和 MoA 之间严格的有限宽度表达能力分离：LA 严格包含固定激活 FFN，而 MoA 严格包含 LA，额外的表达能力来自输入相关的非线性混合。在实验上，我们通过在稠密和 MoE 语言模型上进行广泛的预训练实验来评估 MoA，模型规模从 0.12B 到 2B 参数，涵盖不同的 token 预算、优化器和学习率调度。与经过良好调优的基线相比，MoA 始终实现更低的最终损失，并表现出更有利的缩放行为，且参数和计算开销极小。这些结果表明，token 自适应激活混合是一种简单而有效的机制，可提升 LLM 中 FFN 的表达能力。

评论：	31 页，已被 NeurIPS 2026 接收
主题：	机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML）
引用为：	arXiv:2605.26647 [cs.LG]
	（或 arXiv:2605.26647v3 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2605.26647 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Jinbo Wang [查看邮箱]
[v1] 2026 年 5 月 26 日星期二 07:30:53 UTC（6,072 KB）
[v2] 2026 年 8 月 28 日星期五 05:17:17 UTC（6,074 KB）
[v3] 2026 年 11 月 4 日星期三 14:58:50 UTC（2,105 KB）