arXiv cs.AI· Himanshu Mishra·· 4 小时前AI 评分32
推理重要性归因对语言模型剪枝的脆弱性
The Fragility of Reasoning-Importance Attribution for Pruning Language Models
AI 导读
研究在四个小型推理模型上发现,推理重要性归因测量存在三重脆弱性,且每种都会改变剪枝决策。以最终答案 token 打分会在所有测试的思维链模型中饱和(答案 token NLL 仅 10^-4–10^-3),相比对推理 token 打分,在两个用五个随机种子验证的模型上分别损失 27.6 和 32.2 个准确率点,而困惑度几乎不变、在 7B 上甚至符号反转。
正文 · AI 翻译
摘要:归因引导剪枝根据各组件的因果贡献为其打分,并保护重要组件,正日益被用于压缩推理语言模型而不破坏其思维链。其可靠性建立在一个未经检验的假设之上:推理重要性可以被忠实测量。在四个小型推理模型上,我们表明这种测量在三个方面是脆弱的,而每个方面都会改变剪枝决策。第一,对最终答案 token 打分——这是自然的选择——在我们测试的每个思维链模型中都会饱和(答案 token 的负对数似然 NLL 为 $10^{-4}$--$10^{-3}$),因为模型会在自己的推理中给出答案;在我们用五个随机种子运行的两个模型上,以此为目标引导头部剪枝相比对推理 token 打分损失了 27.6 和 32.2 个准确率百分点,而困惑度几乎不变,甚至在 7B 上符号反转。第二,因果重要性无法定位到单个单元:单神经元效应处于测量下限,其跨划分排序是噪声,而且它们会相互抵消:在 90\% 的组中,一个组的消融效应与其成员效应之和的符号不一致。可复现的重要性只在约 100 个神经元组成的组上才出现。第三,通过对比隔离出的“推理特定”重要性无法与通用重要性分离,保护它比保护原始重要性更差。我们还预注册了如下假设:蒸馏导致的重要性集中度可预测剪枝代价;该假设未获支持,且由于我们的网格将集中度与规模混淆,我们将其报告为未解决而非被推翻。结果是一组简短的测量规则:对推理 token 打分,在粗粒度上做归因,并用准确率而非困惑度来评估。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.22234 [cs.AI] |
| (或 arXiv:2611.22234v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22234 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Himanshu Mishra 先生 [查看电子邮件]
[v1]
2026年11月17日星期二 05:36:30 UTC(66 KB)
来源:arXiv cs.AI · arxiv.org