arXiv cs.AI· Marco Deano, Filippo Ziche, Nicola Bombieri·· 9 天前AI 评分22
S4oP：面向资源受限设备的结构化状态空间模型算子级剪枝
S4oP: Operator-level Pruning of Structured State Space Models for Resource-Constrained Devices
AI 导读
研究者提出 S4oP，一种针对 S4 和 S4D 等结构化状态空间模型（SSM）的增量式算子级剪枝方法，通过结构化掩码与微调交替进行，并同步监控精度与推理延迟。实验显示，在多个基准数据集上剪除多达 70% 的模型算子，多数情况下仍能保持原模型性能，同时大幅降低推理延迟。作者称这是首个系统研究 SSM 结构化算子剪枝的工作。
正文 · AI 翻译
摘要：结构化状态空间模型（SSM），包括 S4 和 S4D 架构，近来已成为在序列数据中捕捉长距离依赖关系的强有力替代方案，可取代基于注意力的模型。尽管其经验性能强劲，但由于计算和内存需求，在时间和资源受限的环境中部署这些模型仍然具有挑战性。在本文中，我们提出了一种新颖的增量式、算子级剪枝方法，适用于基于 S4 和 S4D 的模型，在保持预测性能的同时显著降低推理成本。据我们所知，这是首个系统研究 SSM 结构化算子剪枝的工作。我们的方法通过将结构化掩码与微调交错进行，同时监测准确率和推理延迟，逐步剪枝模型算子。我们在一个统一的训练和评估框架内实现该方法，从而能够系统地探索效率与准确率之间的权衡。在多个基准数据集上的实验表明，剪枝多达 70% 的模型算子在大多数情况下仍能保持原始模型的性能，同时大幅降低推理延迟。这些结果表明，结构化算子剪枝是一种有效且此前未被探索的策略，可提高 SSM 的效率，并促进其在资源受限的实际场景中的部署。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2606.18096 [cs.LG] |
| （或 arXiv:2606.18096v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.18096 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Marco Deano [查看电子邮件]
[v1]
2026 年 6 月 16 日星期二 15:59:10 UTC（1,771 KB）
[v2]
2026 年 10 月 8 日星期四 10:32:07 UTC（1,772 KB）
来源：arXiv cs.AI · arxiv.org