arXiv cs.CL· Wenwen Hou, Xinyuan Song, Wenqian Weng, Shiwei Liu·· 12 小时前AI 评分26
ActTail：基于全局激活稀疏性的大语言模型推理加速方法
ActTail: Global Activation Sparsity in Large Language Models
AI 导读
ActTail 提出一种基于 Heavy-Tailed Self-Regularization（HT-SR）理论的全局激活稀疏分配方法，按各投影层重尾指数分配差异化稀疏预算，替代统一稀疏策略。在 LLaMA 和 Mistral 上，80% 稀疏度下 LLaMA-2-7B 困惑度降低 21.8%、LLaMA-2-13B 降低 40.1%、Mistral-7B 降低 9.4%，并同步提升下游任务表现。
正文 · AI 翻译
摘要：激活稀疏性是一种通过减少计算和内存移动来加速大语言模型（LLM）推理的有前景的方法。然而，现有的激活稀疏性方法通常在各投影层上采用统一的稀疏度，忽略了 Transformer 权重的异质统计特性，从而放大了性能退化。本文提出 ActTail，一种基于 TopK 幅值的激活稀疏性方法，其全局激活稀疏度分配以重尾自正则化（HT-SR）理论为基础。具体而言，我们通过由每个投影层的经验谱密度（ESD）计算得到的重尾指数来刻画这种异质性，并将其作为量化指标来分配各投影层特定的稀疏度预算。重要的是，我们提供了理论分析，在 HT-SR 框架下建立了激活稀疏率与重尾指数之间的显式关系，为稀疏度分配提供了超越启发式设计的原理性指导。在 LLaMA 和 Mistral 模型上的实验表明，与统一分配相比，我们的方法在高稀疏度下同时提升了困惑度和下游任务性能。在 80% 稀疏度下，LLaMA-2-7B 的困惑度降低了 21.8%，LLaMA-2-13B 降低了 40.1%，Mistral-7B 降低了 9.4%。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2603.12272 [cs.CL] |
| （或 arXiv:2603.12272v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2603.12272 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Wenwen Hou [查看邮箱]
[v1]
2026年2月18日 星期三 14:46:03 UTC（336 KB）
[v2]
2026年10月26日 星期一 11:50:07 UTC（338 KB）
来源：arXiv cs.CL · arxiv.org