arXiv cs.CL· Woosang Lim, Haneul Yoo, Vincent-Daniel Yun, Sungjoo Yoo·· 3 天前AI 评分29
LayerTrim：通过注意力保留的 MLP 裁剪解锁推理语言模型的结构化剪枝
Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming
AI 导读
LayerTrim 是一种免训练的结构化剪枝方法，通过识别冗余解码层并选择性裁剪其 MLP 特征，同时保留注意力和解码深度，在不使用梯度或恢复训练的情况下维持长文本推理能力。
正文 · AI 翻译
摘要：结构化剪枝通过移除模型组件以生成更小的稠密模型，从而降低 LLM 推理成本。然而，现有方法在 AIME 等长文本推理任务上可能导致推理性能崩溃。我们提出 \textit{LayerTrim}，一种免训练的结构化剪枝方法，它识别冗余解码器层并选择性地裁剪其 MLP 特征，同时保留注意力和解码器深度。LayerTrim 是首个无需梯度或恢复训练、旨在保留长文本推理能力的免训练结构化剪枝方法。在三个推理语言模型和五个基准测试上，LayerTrim 在大多数评估设置中优于现有结构化剪枝方法，相比 RESP 平均准确率最高提升 21.4 个百分点。在 \texttt{Qwen3-14B} 上，LayerTrim 相比稠密模型实现了 1.24$\times$ 更快的预填充和低 19.7\% 的峰值 GPU 内存，同时更好地保留了推理能力。在评估的剪枝模型中，它还实现了最短的平均生成长度，同时保持最高的平均准确率。这些结果表明，LayerTrim 通过结构压缩和减少 token 生成两方面提升了推理效率。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19121 [cs.LG] |
| （或 arXiv:2610.19121v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19121 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Vincent-Daniel Yun [查看邮箱]
[v1]
2026年10月13日星期二 19:55:33 UTC（317 KB）
来源：arXiv cs.CL · arxiv.org