arXiv cs.AI· Binh Duc Vu, David S. Watson·· 10 小时前AI 评分31
树集成的极小极大收敛率与谱蒸馏
Minimax Rates and Spectral Distillation for Tree Ensembles
AI 导读
研究从谱视角分析随机森林（RF）与梯度提升机（GBM），推导出 RF 回归的极小极大最优收敛率，并证明在树生长的温和正则条件下，诱导核算子的特征值衰减决定统计收敛速度。基于该谱视角提出压缩方案：RF 用核算子的前导特征函数、GBM 用平滑矩阵的前导奇异向量学习非线性映射，蒸馏模型比原模型小几个数量级且保持有竞争力的预测性能。方法在森林剪枝与规则提取上优于现有算法，面向资源受限计算场景。
正文 · AI 翻译
摘要：随机森林（RF）和梯度提升机（GBM）等树集成是最广泛使用的监督学习器之一，但其理论性质仍未得到完全理解。我们从谱视角研究这些算法，主要有两项贡献。首先，我们推导出 RF 回归的极小极大最优收敛性，表明在树生长的温和正则条件下，所诱导核算子的特征值衰减决定了统计速率。其次，我们利用这一谱视角为树集成开发压缩方案。对于 RF，核算子的前导特征函数捕捉主要预测方向；对于 GBM，平滑矩阵的前导奇异向量发挥类似作用。为这些谱表示学习非线性映射，可得到比原始模型小几个数量级的蒸馏模型，同时保持有竞争力的预测性能。我们的方法在森林剪枝和规则提取方面优于当前最先进的算法，并应用于资源受限计算。
| 评论： | NeurIPS 相机就绪版本。正文 10 页，总计 48 页（不含检查清单），共 12 幅图和 10 张表 |
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.11841 [stat.ML] |
| （或 arXiv:2605.11841v3 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.11841 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Binh Vu [查看电子邮件]
[v1]
2026年5月12日星期二 09:26:00 UTC（2,627 KB）
[v2]
2026年11月8日星期日 20:04:41 UTC（2,634 KB）
[v3]
2026年11月10日星期二 11:02:27 UTC（2,634 KB）
来源：arXiv cs.AI · arxiv.org