arXiv cs.AI· Sankar Behera, Dhruv Singh, Satyadev Ahlawat, Yamuna Prasad·· 3 天前AI 评分22
SARATHI：解耦无数据探测与自适应重建的结构化 LLM 剪枝框架
SARATHI: Decoupled Data-Free Probing and Adaptive Reconstruction for Structured LLM Pruning
AI 导读
SARATHI 将结构化剪枝的神经元选择与权重重建解耦：无数据的 NMF Residual Subspace Probe 仅凭权重几何打分，Adaptive OBS 用局部校准批次重建权重，每层峰值内存为 O(d²)，并加入 Bias Shift Compensation 修正 LayerNorm 后的激活漂移。
正文 · AI 翻译
摘要：结构化剪枝通过永久移除神经元和权重行来降低大语言模型（LLM）的推理成本，从而实现稠密、与硬件无关的加速。现有的训练后方法通过共享的校准数据集将神经元选择与权重重建耦合在一起，在高稀疏度下会引入领域偏差和内存溢出问题。我们提出 SARATHI，一个将这两个阶段解耦的框架。一种无数据的 \emph{NMF 残差子空间探测} 利用内在权重几何对神经元进行评分，无需访问任何校准数据，并与 Robust PCA 存在形式上的联系。随后，\emph{自适应 OBS} 使用局部校准批次重建剪枝后的权重，每层峰值内存为 $\mathcal{O}(d^2)$，消除了耦合方法的全局内存瓶颈。\emph{偏置漂移补偿} 步骤校正了 LayerNorm 后架构中的系统性激活漂移，否则在高稀疏度下会导致困惑度崩溃。在来自两个架构家族（门控和非门控 FFN）的六个模型上、15--40\% 稀疏度下的实验表明，SARATHI 取得了有竞争力的困惑度，并在零样本准确率上达到或超过了现有的结构化剪枝基线。
| 评论： | 已被 EMNLP 2026 主会议接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.15514 [cs.LG] |
| （或 arXiv:2610.15514v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15514 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Sankar Behera [查看电子邮件]
[v1]
2026年10月11日星期日 10:27:26 UTC（450 KB）
来源：arXiv cs.AI · arxiv.org