跳到正文
arXiv cs.CL· Muhammad Junaid Ali, Smail Niar, El-Ghazali Talbi·· 10 小时前AI 评分22

面向延迟与模型大小优化的 LLM 多目标结构化剪枝框架

Multi-Objective Structured Pruning of LLMs for Latency and Model Size Optimization

AI 导读

研究者提出一种硬件感知的多目标结构化剪枝框架,分两阶段同时优化 LLM 的推理延迟与模型大小。粗粒度阶段按深度剪除整个注意力与 MLP 块,细粒度阶段用并行贝叶斯优化(PBO)在延迟约束下搜索逐层剪枝比例。在 37.5% 和 50% 剪枝比例下,该方法在常识推理任务上优于现有方法,并显著降低推理成本。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)因其强大的推理和查询响应能力而得到广泛采用。然而,由于严格的延迟、内存和能耗限制,将其部署在嵌入式和边缘计算环境中仍然具有挑战性。其庞大的参数数量和计算需求阻碍了在资源受限平台上的高效执行。尽管模型剪枝已成为在保持性能的同时减小规模的可行解决方案,但联合优化层、注意力头和多层感知机(MLP)维度仍然非常复杂。穷举探索这一组合设计空间的计算成本很高,并且常常导致局部最优或不稳定的配置。为了解决这些限制,我们提出了一种硬件感知的多目标结构化剪枝框架。所提出的两阶段方法明确以延迟和模型大小为优化目标,以便在边缘设备上高效部署。在粗粒度阶段,多目标深度剪枝移除整个注意力和 MLP 块,以降低计算负载和内存占用。在随后的细粒度阶段,并行贝叶斯优化(PBO)在延迟约束下搜索最优的逐层剪枝比例,而基于重要性的策略则在每层分配的预算内对要剪枝的具体组件进行排序。实验结果表明,我们的方法在降低模型复杂度的同时,对常识推理任务和零样本性能的影响极小。我们的方法在准确率、延迟和模型大小之间实现了有利的权衡,使其适合边缘部署。在多个 LLM 上以 37.5% 和 50% 的剪枝比例进行测试时,所提出的方法在常识推理任务上取得了比现有方法更好的性能,同时显著降低了推理成本。
主题: 人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2607.22583 [cs.AI]
  (或此版本的 arXiv:2607.22583v4 [cs.AI])
  https://doi.org/10.48550/arXiv.2607.22583

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Muhammad Junaid Ali [查看电子邮件]
[v1] 2026年6月8日星期一 09:38:13 UTC(4,945 KB)
[v2] 2026年8月2日星期日 07:11:59 UTC(6,532 KB)
[v3] 2026年10月17日星期六 15:24:34 UTC(5,173 KB)
[v4] 2026年11月19日星期四 11:31:48 UTC(5,173 KB)

来源:arXiv cs.CL · arxiv.org