arXiv cs.CL· Yu-Chen Lu, Sheng-Feng Yu, Hui-Hsien Weng, Pei-Shuo Wang, Yu-Fang Hu, Liang Hung-Chun, Hung-Yueh Chiang, Kai-Chiang Wu·· 13 小时前AI 评分31
SkipCat：通过共享投影与块跳过实现 LLM 秩最大化低秩压缩
SkipCat: Rank-Maximized Low-Rank Compression of Large Language Models via Shared Projection and Block Skipping
AI 导读
SkipCat 是一种低秩压缩框架，通过层内共享低秩投影和块跳过技术，在相同压缩率下保留更高秩。在无需额外微调的情况下，该方法在零样本任务上比此前低秩压缩方法准确率提升 7%。该工作已被 AAAI 2026 接收。
正文 · AI 翻译
摘要：大语言模型（LLM）在广泛的任务中取得了显著性能。然而，其庞大的参数规模给部署在计算和内存资源受限的边缘设备上带来了重大挑战。低秩压缩是应对这一问题的一种有前景的方法，因为它同时降低了计算和内存开销，使 LLM 更适合资源受限的环境。尽管如此，朴素的低秩压缩方法需要大幅降低保留的秩，才能实现有意义的显存和计算节省。对于低秩模型而言，秩需要降低一半以上才能带来效率提升。然而，这种激进的截断通常会导致性能大幅下降。为解决这一权衡问题，我们提出了 SkipCat，一种新颖的低秩压缩框架，能够在实现相同压缩率的同时使用更高的秩。首先，我们引入了一种层内共享低秩投影方法，其中共享相同输入的多个矩阵使用一个公共投影。这减少了冗余并提高了压缩效率。其次，我们提出了一种块跳过技术，省略低秩分解中选定子块的计算和内存传输。这两种技术共同使我们的压缩模型在相同压缩预算下保留更多有效秩。实验结果表明，在没有任何额外微调的情况下，我们的方法在相同压缩率下的零样本任务上比之前的低秩压缩方法准确率高出 7%。这些结果凸显了我们的秩最大化压缩策略在紧张资源约束下保持模型性能的有效性。
| Comments: | 已被 AAAI 2026 接收 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| Cite as: | arXiv:2512.13494 [cs.CL] |
| （或 arXiv:2512.13494v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2512.13494 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Yu-Chen Lu [查看邮箱]
[v1]
2025年12月15日 星期一 16:25:55 UTC（1,305 KB）
[v2]
2026年10月27日 星期二 09:07:05 UTC（1,306 KB）
来源：arXiv cs.CL · arxiv.org