arXiv cs.CL· Ryan Solgi, Parsa Madinei, Jiayi Tian, Rupak Swaminathan, Jing Liu, Nathan Susanj, Zheng Zhang·· 10 天前AI 评分22
PGSVD：面向高效 LLM/VLM 的激活感知帕累托引导低秩压缩
Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM
AI 导读
研究者提出 PGSVD，一种零样本低秩压缩流程，通过帕累托引导的秩选择和交替最小二乘实现，改进激活感知压缩。该方法将低秩压缩建模为双目标优化，并证明单一统一容差可产生代理帕累托最优的异构秩。在 LLM 和 VLM 上，PGSVD 在相同压缩率下取得更高精度并带来推理加速。
正文 · AI 翻译
摘要：大语言模型（LLM）和视觉语言模型（VLM）已取得最先进的性能，但在部署中带来了显著的内存和计算挑战。我们提出了一种新颖的低秩压缩框架来应对这一挑战。首先，我们通过基于逐层激活的压缩误差给出了网络损失变化的上界，填补了文献中的理论空白。随后，我们将低秩模型压缩表述为双目标优化问题，并证明单一均匀容差可产生代理帕累托最优的异构秩。基于我们的理论洞见，我们提出了帕累托引导奇异值分解（PGSVD），这是一种零样本流水线，通过帕累托引导的秩选择和交替最小二乘实现来改进激活感知压缩。我们将 PGSVD 应用于 LLM 和 VLM，在相同压缩水平下展现出更好的精度和推理加速。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2510.05544 [cs.CL] |
| （或 arXiv:2510.05544v3 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2510.05544 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Ryan Solgi [查看邮箱]
[v1]
2025年10月7日星期二 03:07:47 UTC（407 KB）
[v2]
2026年6月3日星期三 18:20:52 UTC（408 KB）
[v3]
2026年10月6日星期二 20:51:02 UTC（405 KB）
来源：arXiv cs.CL · arxiv.org