arXiv cs.AI· Jinho Park, Se Young Chun, Mingoo Seok·· 11 小时前AI 评分29
DictLLM：用字典核实现大语言模型训练后压缩
DictLLM: Post-training Compression of Large Language Model with Dictionary Kernels
AI 导读
DictLLM 是一种基于字典的训练后压缩方案，将分组层内的权重矩阵分解为共享字典与层特定稀疏系数，无需额外训练即可从预训练模型直接获得。在 LLaMA-7B 上，DictLLM 实现 5.1x 压缩，WikiText-2 困惑度仅上升 2.9 点，压缩率比当前最优低秩方法高 3.6x。该方法在语言建模与零样本推理基准上持续优于现有训练后低秩压缩方法，并推进了模型大小与性能之间的帕累托前沿。
正文 · AI 翻译
摘要：在移动设备上高效部署大语言模型（LLM）需要在性能与计算和内存约束之间取得平衡。训练后压缩是管理这一权衡的有效方法，同时所需的计算量远少于训练中压缩的对应方案。我们提出 DictLLM，一种基于字典的压缩方案，其中分组层内的权重矩阵被分解为共享字典和层特定的稀疏系数，可直接从预训练模型获得而无需进一步训练。具体而言，我们将 DictLLM 构建为一个四步的训练后优化过程。首先，我们通过对输入缩放后的权重矩阵进行奇异值分解（SVD）获得共享字典，在分组层之间分摊秩；其次，我们使用字典感知的 Hessian 将层特定系数稀疏化到目标压缩比；第三，我们根据得到的稀疏系数细化字典。最后，我们利用因子特定的 Hessian 信息对两个分量进行激进量化：字典使用输入协方差，系数使用字典感知的 Hessian。所得表示通过为每个层组存储单个共享字典以及稀疏的层特定系数来减少内存占用。在语言建模和零样本推理基准上，DictLLM 始终优于现有的训练后低秩压缩方法，并推动了模型大小与性能之间的帕累托前沿。DictLLM 将原始 LLaMA-7B 模型压缩 5.1 倍，而 WikiText-2 困惑度仅增加 2.9 点，压缩比达到最先进低秩方法的 3.6 倍。
| 评论： | NeurIPS 2026。项目页面：此 https URL |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.08082 [cs.AI] |
| （或 arXiv:2611.08082v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08082 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jinho Park [查看电子邮件]
[v1]
2026年11月5日星期四 14:31:12 UTC（537 KB）
来源：arXiv cs.AI · arxiv.org