arXiv cs.AI· Moritz Thoma, Maximilian Groezinger, Maximilian Forstenh\"ausler, Emad Aghajanzadeh, Manoj Rohit Vemparala, Christos Anagnostopoulos, Pierpaolo Mori, Nael Fasfous, Alexander Frickenstein, Daniel Mueller-Gritschneder, Ulf Schlichtmann·· 11 小时前AI 评分31
基于逐层误差模型搜索的 SVD 大模型压缩方法 LEMS 与 KFAC-SVD
Advancing SVD-based LLM Compression via Layer-Wise Error Model Search
AI 导读
研究提出 Layer-wise Error Modeling Search（LEMS）与 KFAC-SVD 两种方法改进基于 SVD 的低秩 LLM 压缩。
正文 · AI 翻译
作者：Moritz Thoma、Maximilian Groezinger、Maximilian Forstenhäusler、Emad Aghajanzadeh、Manoj Rohit Vemparala、Christos Anagnostopoulos、Pierpaolo Mori、Nael Fasfous、Alexander Frickenstein、Daniel Mueller-Gritschneder、Ulf Schlichtmann
摘要：基于低秩 SVD 的压缩为降低 LLM 的计算成本提供了一种强有力的策略。然而，现有方法面临两个关键局限：(i) 全局秩分配，其中未经校准的误差代理无法捕捉复杂的误差传播；(ii) 分解质量，其中基于 Fisher 的估计器会出现严重的秩坍缩。在本工作中，我们通过引入逐层误差建模搜索（LEMS）和 KFAC-SVD 来解决这些局限。LEMS 通过引入一种逐层误差代理来推进秩分配，该代理将局部和全局层重要性以及传播偏差结合起来，从而通过 ILP 公式实现有效的全局秩分配。KFAC-SVD 通过利用逐 token 统计量来提高分解质量，缓解了先前基于 Fisher 的 SVD 方法中观察到的秩亏缺问题。在 Mistral、Qwen3 和 Llama 3 模型系列上，我们表明 LEMS 始终优于现有搜索策略，带来高达 4.8 个百分点的显著零样本准确率提升，且该提升可泛化至 700 亿参数的模型规模，而 KFAC-SVD 实现了平均 15% 的困惑度改进。项目页面和代码：此 https URL
| 评论： | 已被 ICML 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32878 [cs.AI] |
| （或 arXiv:2610.32878v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32878 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Moritz Thoma [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 16:46:00 UTC（118 KB）
来源：arXiv cs.AI · arxiv.org