arXiv cs.AI· Gautam Gupta, Dikshant Kukreja, Unique Kumar, Avni Mittal, Deepanshu Dabas, Kshitij Sah, Erik Cambria, Rajiv Ratn Shah, Zhengkui Wang, Avinash Anand·· 11 小时前AI 评分42
模型越大越脆弱：为何压缩对大规模语言模型的伤害更大
When Bigger Becomes Brittle: Why Compression Hurts More as Language Models Scale
AI 导读
研究将注意力头消融的预期损失精确分解为网络其余部分补偿恢复的部分与最终传导至输出的部分，并跨模型规模比较。在损伤程度相当时，小模型能恢复大部分损失，大模型则保留大部分损失，因为随模型增大补偿响应抵消得更少；压缩这些注意力头呈现同样规律。因此在小模型上几乎无害的量化与剪枝压缩，在大模型上可能代价高昂。
正文 · AI 翻译
摘要：量化和剪枝降低了语言模型的部署成本，但其效果通常以基准分数来报告。这类分数只记录了输出端残留的损失。在模型内部，压缩对某些组件的损害大于其他组件，而网络的其余部分可以部分补偿。因此，观察到的损失既反映了损害，也反映了这种补偿，而基准分数无法将二者区分开。二者如何结合，以及它们的平衡是否随模型规模变化，仍不清楚。我们研究了上下文检索中的这种补偿，该能力由一小部分可识别的注意力头承载。为了区分二者，将消融这些头所带来的预期损失精确分解为：由网络其余部分恢复的部分（归因于负责的组件），以及到达输出的部分。然后将这种分解在不同模型规模之间进行比较。对于相当大小的损害，较小的模型恢复了大部分损失，而较大的模型保留了大部分损失，因为随着模型增大，补偿性响应抵消的部分更少。压缩这些头会产生相同的模式。因此，在小模型中几乎无害的压缩，在大模型中可能代价高昂。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.07891 [cs.AI] |
| （或 arXiv:2611.07891v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07891 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Gautam Gupta [查看电子邮件]
[v1]
2026年11月5日星期四 12:11:13 UTC（362 KB）
来源：arXiv cs.AI · arxiv.org