跳到正文
热点事件持续更新

研究者提出LLM多目标结构化剪枝框架

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Muhammad Junaid Ali、Smail Niar 和 El-Ghazali Talbi 提出一种硬件感知的多目标结构化剪枝框架,分两阶段同时优化大语言模型的推理延迟与模型大小:粗粒度阶段按深度剪除整个注意力与 MLP 块,细粒度阶段用并行贝叶斯优化(PBO)在延迟约束下搜索逐层剪枝比例。 在 37.5% 和 50% 剪枝比例下,该方法在常识推理任务上优于现有方法,并显著降低推理成本。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.CL
    面向延迟与模型大小优化的 LLM 多目标结构化剪枝框架

    研究者提出一种硬件感知的多目标结构化剪枝框架,分两阶段同时优化 LLM 的推理延迟与模型大小。粗粒度阶段按深度剪除整个注意力与 MLP 块,细粒度阶段用并行贝叶斯优化(PBO)在延迟约束下搜索逐层剪枝比例。在 37.5% 和 50% 剪枝比例下,该方法在常识推理任务上优于现有方法,并显著降低推理成本。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。