arXiv cs.CL· Amogh Sheth, Andrew Lin, Biruk Assefa, Yi Wen Huang, Yuhao Ge·· 12 小时前AI 评分32
基于因果归因的剪枝方法 CAP 可保持大语言模型推理性能
Pruning via Causal Attribution Preserves Reasoning Performance in Large Language Models
AI 导读
研究者提出免训练的因果归因剪枝方法 CAP，通过测量各注意力头在推理任务上的因果影响来指导细粒度权重剪枝。在 Llama-3-8B-Instruct 和 Mistral-7B-Instruct 上，20% 稀疏度下 CAP 在 ARC-Challenge 上相对 Wanda 最高提升 61% 准确率。
正文 · AI 翻译
摘要：大型语言模型（LLM）擅长多步推理，但推理成本高昂。我们提出因果归因剪枝（Causal Attribution Pruning，CAP），这是一种免训练方法，通过测量注意力头对推理任务的因果影响来识别关键注意力头，并利用这些头级分数指导细粒度权重剪枝。对于每个注意力头，CAP 在一小组推理问题的校准集上前向传播时，估计该头被掩蔽时的预期性能下降。这些因果分数随后被转换为对应投影矩阵的权重级重要性值。与仅基于幅度或基于激活的准则不同，CAP 的干预式测量直接捕捉每个头的功能贡献，在 20% 稀疏度下于 ARC-Challenge 上相比 Wanda 取得最高 61% 的相对准确率提升。我们在 GSM8K、StrategyQA 和 ARC-Challenge 上，使用 Llama-3-8B-Instruct 和 Mistral-7B-Instruct，在 10%、20% 和 50% 稀疏度下评估 CAP。在中等稀疏度（10-20%）下，CAP 在大多数模型-基准配置中优于 Wanda，其中在 Llama-3 的 ARC-Challenge 上提升尤为显著。我们的结果表明，在同等稀疏度下，注意力头级因果归因比相关性剪枝准则更能保持下游基准上的推理性能，但在 50% 稀疏度下仍受限于粗粒度的 MLP 归因。
| 评论： | 已被 ICLR 2026 LLM 推理研讨会接收。13 页，2 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.19350 [cs.CL] |
| （或 arXiv:2606.19350v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.19350 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuhao Ge [查看邮箱]
[v1]
2026 年 4 月 27 日星期一 01:44:10 UTC（89 KB）
[v2]
2026 年 10 月 27 日星期二 05:55:55 UTC（89 KB）
来源：arXiv cs.CL · arxiv.org