arXiv cs.AI· Tianxiang Xia, Kai Lion, Niao He, Michael Muehlebach, Melanie Zeilinger, Hao Ma·· 11 小时前AI 评分38
S-SALAAD：面向大模型的结构化稀疏学习框架，兼顾压缩性与高效推理
Learning Structured Sparsity for Large Models: Bridging Model Compressibility and Efficient Inference
AI 导读
S-SALAAD 是一个在训练中联合学习模型权重及其低秩与结构化稀疏组件的统一框架，支持多种硬件兼容的结构化稀疏模式，并配套专用 CPU 与 GPU kernel 加速推理。在 Llama2 和 Qwen3 上的预训练与蒸馏实验显示，该框架在困惑度、内存和推理延迟上推进了经验 Pareto 前沿，使单个 checkpoint 可在不同内存预算下高效部署。
正文 · AI 翻译
摘要：扩展定律持续奖励模型规模的增大，而由此产生的计算和内存需求推动推理更加依赖云基础设施。然而，不可靠的网络连接、通信延迟和隐私要求可能使这种依赖变得不切实际，从而促使在边缘设备上进行本地执行。本地部署要求模型能够适应有限的内存，并利用可用的计算资源高效执行。近期研究表明，学习稀疏加低秩表示能够将单个检查点弹性压缩到多种内存预算。然而，参数更少并不一定意味着推理更快。非结构化稀疏组件中的索引开销和不规则内存访问可能会抵消计算节省。为解决这一关键部署障碍，我们提出了 S-SALAAD，这是一个统一框架，在训练过程中联合学习模型权重及其低秩和结构化稀疏组件。该框架支持一系列硬件兼容的结构化稀疏模式。它将这种结构学习与预算感知压缩以及专用的 CPU 和 GPU 内核相结合，利用学习到的结构进行加速，从而能够从单个检查点在多种内存预算下实现高效推理。在 Llama2 和 Qwen3 模型上进行的实验，涵盖预训练和蒸馏，表明与所评估的基线相比，S-SALAAD 在多个硬件平台上推进了困惑度、内存和推理延迟方面的经验帕累托前沿。这些结果表明，结构化学习可以将弹性可压缩性转化为更低的内存需求和更低的推理延迟，从而使大型模型能够在边缘设备上实际部署。
| 评论： | 35 页，26 幅图，14 张表。项目网站：此 https URL |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.31897 [cs.LG] |
| （或 arXiv:2610.31897v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31897 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianxiang Xia [查看电子邮件]
[v1]
2026年10月22日星期四 20:49:30 UTC (34,496 KB)
来源：arXiv cs.AI · arxiv.org