研究者提出LLM多目标结构化剪枝框架
热点事件持续更新
研究者提出LLM多目标结构化剪枝框架
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Muhammad Junaid Ali、Smail Niar 和 El-Ghazali Talbi 提出一种硬件感知的多目标结构化剪枝框架,分两阶段同时优化大语言模型的推理延迟与模型大小:粗粒度阶段按深度剪除整个注意力与 MLP 块,细粒度阶段用并行贝叶斯优化(PBO)在延迟约束下搜索逐层剪枝比例。 在 37.5% 和 50% 剪枝比例下,该方法在常识推理任务上优于现有方法,并显著降低推理成本。
AI 根据报道生成 · 1 小时前更新
最新进展11月20日 13:00
面向延迟与模型大小优化的 LLM 多目标结构化剪枝框架报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.CL面向延迟与模型大小优化的 LLM 多目标结构化剪枝框架
研究者提出一种硬件感知的多目标结构化剪枝框架,分两阶段同时优化 LLM 的推理延迟与模型大小。粗粒度阶段按深度剪除整个注意力与 MLP 块,细粒度阶段用并行贝叶斯优化(PBO)在延迟约束下搜索逐层剪枝比例。在 37.5% 和 50% 剪枝比例下,该方法在常识推理任务上优于现有方法,并显著降低推理成本。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。