研究者提出SoCo框架优化大模型SVD压缩

Dengjie Li等作者提出基于奇异值分解（SVD）的大语言模型压缩框架SoCo，用可学习对角矩阵为奇异谱分配重要性分数，并按稀疏化后的分数自适应剪枝，而非依赖奇异值的固定排序；剩余成分可补偿被剪枝部分的损失。 该框架采用三阶段训练，从粗压缩逐步细化到稀疏化。作者称，在多个大语言模型和基准上，SoCo的压缩效果超过现有最优方法。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。