免训练剪枝方法CAP提升大模型推理性能
热点事件持续更新
免训练剪枝方法CAP提升大模型推理性能
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
研究者 Amogh Sheth 等人提出免训练的因果归因剪枝方法 CAP：先测量各注意力头对推理任务的因果影响，再用这些头级分数指导细粒度权重剪枝。 在 Llama-3-8B-Instruct 和 Mistral-7B-Instruct 上，20% 稀疏度下，CAP 在 ARC-Challenge 上相对 Wanda 最高提升 61% 准确率。该结果来自作者在论文中的报告。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
基于因果归因的剪枝方法 CAP 可保持大语言模型推理性能报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.CL基于因果归因的剪枝方法 CAP 可保持大语言模型推理性能
研究者提出免训练的因果归因剪枝方法 CAP，通过测量各注意力头在推理任务上的因果影响来指导细粒度权重剪枝。在 Llama-3-8B-Instruct 和 Mistral-7B-Instruct 上，20% 稀疏度下 CAP 在 ARC-Challenge 上相对 Wanda 最高提升 61% 准确率。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。