研究：模型越大，压缩损伤越难被补偿

Gautam Gupta 等作者发表论文，将注意力头消融的预期损失分解为网络其余部分补偿恢复的部分与最终传导至输出的部分，并跨模型规模比较。研究发现，在损伤程度相当时，小模型能恢复大部分损失，大模型则保留大部分损失，原因是随模型增大，补偿响应抵消得更少；压缩这些注意力头也呈现同样规律。 据此，作者认为在小模型上几乎无害的量化与剪枝压缩，在大模型上可能代价高昂。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。