arXiv cs.CL· Ibne Farabi Shihab, Adria Binte Habib, Joyanta Jyoti Mondal·· 2 天前AI 评分22
校准保持剪枝（CPP）：把压缩当作可靠性契约
Calibration-Preserving Pruning: Compression as a Reliability Contract
AI 导读
校准保持剪枝（CPP）在基础剪枝评分上加入非一致性梯度显著性，并采用剪枝、验证选择、共形校准与测试四组不相交划分，以在剪枝后获得更小的有效预测集。
正文 · AI 翻译
摘要：一旦剪枝模型独立于保形校准划分被固定，提供有限样本边际覆盖的是分裂保形预测，而非剪枝规则。我们研究另一个效率问题：剪枝能否足够好地保留分数几何结构，从而获得更小的有效预测集？校准保持剪枝（CPP）在基础剪枝分数上加入非一致性梯度显著性，并使用互不相交的剪枝、验证选择、保形校准和测试划分。有界分数扰动意味着有界的保形分位数偏移和受控的集合膨胀，但并不会使通用覆盖定理成为 CPP 专属。在 50\% 稀疏度下的最终五种子 Qwen2.5-1.5B 结果显示，在大标签任务上增益最大。在 DBpedia-14 上，CPP-SparseGPT 将平均集合大小从 \(10.1\) 降至 \(8.6\)，同时准确率从 \(0.347\) 变为 \(0.366\)；CPP-Wanda 将 \(11.2\) 降至 \(9.0\)，准确率从 \(0.310\) 权衡至 \(0.295\)。在 15 个数据集--稀疏度单元中，CPP-SparseGPT 在 13 个中产生更小的集合，在 11 个中取得更高准确率。匹配对照表明，通用监督梯度解释了大部分增益：真实标签 CPP 与匹配的 Wanda+SNIP 在统计上无法区分，而阈值感知的候选标签 CPP 在显式准确率和离线计算成本下达到 \(7.8\) 的平均集合大小。RoBERTa-base 和 Llama-3-8B 诊断支持可迁移性，但我们的结论仍限于对可靠性敏感的分类。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.23744 [cs.LG] |
| （或 arXiv:2608.23744v2 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2608.23744 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Adria Binte Habib [查看电子邮件]
[v1]
2026年8月24日星期一 18:31:01 UTC（38 KB）
[v2]
2026年10月14日星期三 18:40:25 UTC（38 KB）
来源：arXiv cs.CL · arxiv.org