arXiv cs.CL· Moonseok Choi, Jongwon Jeong, Minki Kang, Giung Nam, Juho Lee·· 11 小时前AI 评分29
SKIM：通过选择性知识知情掩码剪枝大语言模型智能体
SKIM: Pruning Large Language Model Agents via Selective Knowledge Informed Masking
AI 导读
SKIM 是首个面向结构化生成下 LLM 智能体的剪枝与蒸馏框架，按 token 角色将位置划分为上下文、决策和格式三类，并据此设计类别感知的剪枝显著性分数与 on-policy 蒸馏目标。在工具调用基准和多步智能体循环中，SKIM 在多种模型规模与稀疏度下均优于基线，高稀疏度场景提升最明显。该工作入选 NeurIPS 2026。
正文 · AI 翻译
摘要：大型语言模型（LLM）智能体越来越多地部署在结构化生成场景下，其中语法约束在推理时强制规定输出格式。现有压缩方法针对的是无约束生成，而我们首先识别出一个根本性错配：在结构化生成下，语法约束将模型的输出分布缩减为有效 token，而 logits 在决定智能体动作的少数位置上最为关键。受此发现启发，我们提出 SKIM（Selective Knowledge-Informed Masking），这是首个面向结构化生成下 LLM 智能体的剪枝与蒸馏框架，两个阶段均由 token 角色引导。SKIM 将 token 位置划分为上下文、决策和格式类别，这一划分驱动两个互补的维度：（1）类别感知的剪枝显著性分数，保留与决策位置最相关的参数；（2）一种 on-policy 蒸馏目标，使学生在有效 token 上与教师对齐，并配合类别感知的特征匹配。我们在工具调用基准以及多步智能体循环中，跨多种模型规模和稀疏度水平评估 SKIM。SKIM 在准确率上持续优于基线，其优势在传统方法难以应对的高稀疏度情形下最为显著，展示了类别感知压缩在部署时语法约束智能体中的潜力。
| 评论： | NeurIPS 2026。项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07558 [cs.CL] |
| （或 arXiv:2611.07558v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07558 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Moonseok Choi [查看邮箱]
[v1]
2026年11月5日星期四 07:04:45 UTC（891 KB）
来源：arXiv cs.CL · arxiv.org