arXiv cs.CL· Dengjie Li, Tiancheng Shen, Yao Zhou, Bernard Ghanem, Yibo Yang, Ming-Hsuan Yang·· 11 小时前AI 评分23
SoCo：面向大语言模型压缩的奇异谱优化框架
Optimizing Singular Spectrum for Large Language Model Compression
AI 导读
研究者提出 SoCo，一种基于奇异值分解的大语言模型压缩框架，用可学习对角矩阵为奇异谱分配重要性分数，并通过三阶段训练从粗压缩逐步细化到稀疏化。SoCo 按稀疏化后的重要性分数自适应剪枝，而非依赖奇异值的固定排序，剩余成分可补偿被剪枝部分的损失。在多个 LLM 和基准上，SoCo 的压缩效果超过现有最优方法。
正文 · AI 翻译
摘要：大型语言模型（LLM）已展现出卓越的能力，但其高昂的参数复杂度往往阻碍了部署。现有的基于奇异值分解（SVD）的压缩方法简单地将奇异值视为分解组件的重要性分数。然而，这种按奇异值排序的重要性并不一定与下游任务的性能相关。在本工作中，我们提出了 SoCo（面向大型语言模型压缩的奇异谱优化），这是一种新颖的压缩框架，以数据驱动的方式学习重新缩放 SVD 的分解组件。具体而言，我们采用可学习的对角矩阵为奇异谱分配重要性分数，并开发了一个三阶段训练过程，从初始的粗粒度压缩到细粒度的稀疏化，逐步细化这些分数——从而在激进的模型压缩与性能保持之间取得有效平衡。得益于可学习的奇异谱，SoCo 根据稀疏化的重要性分数自适应地剪枝组件，而不是依赖固定的奇异值顺序。更重要的是，剩余组件具有放大的重要性分数，可以补偿被剪枝组件的损失。在多个 LLM 和基准上的实验评估表明，SoCo 在模型压缩方面超越了最先进的方法。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2502.15092 [cs.CL] |
| （或 arXiv:2502.15092v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2502.15092 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tiancheng Shen [查看邮箱]
[v1]
2025年2月20日星期四 23:18:39 UTC（1,954 KB）
[v2]
2026年10月16日星期五 17:56:38 UTC（1,950 KB）
来源：arXiv cs.CL · arxiv.org