arXiv cs.AI· Ismail Hossain Polas·· 10 小时前AI 评分26
TabPFN-3.5 与调优 GBDT 在电信流失预测上的对比：利润与校准感知评估
Tabular Foundation Models vs Tuned Gradient Boosting for Telecom Churn: A Profit- and Calibration-Aware Evaluation
AI 导读
研究在五个公开电信流失数据集、10 次种子划分上重新评估 TabPFN-2.5、TabPFN-3.5、TabPFN-3.5-Fast 和 TabICL v2 与 Optuna 调优 GBDT 的表现。
正文 · AI 翻译
摘要：表格基础模型（TFM）通过单次前向传播从带标签的上下文中进行预测。近期一项基准测试报告称，它们在客户流失预测上明显优于树集成模型，但该测试将它们与未调优的梯度提升树（GBDT）进行比较，且仅评估了排序指标，而留存活动的评判标准是金钱收益。我们在五个公开电信流失数据集上，通过 10 次带种子的划分，将 TabPFN-2.5、TabPFN-3.5、TabPFN-3.5-Fast 和 TabICL v2 与经 Optuna 调优的 GBDT 进行重新评估。我们区分三个问题：模型能否很好地为流失者排序，该排序能否带来更高的期望最大利润（EMP），以及其概率能否驱动阈值策略。采用考虑划分的检验和针对 20 项预先声明比较的 Holm 校正后，TabPFN-3.5 在 Cell2Cell（1.9%）和 Iranian（7.6%）上获得的 EMP 显著高于最佳调优 GBDT，且这两项增益在分别与三个调优 GBDT 对比时也成立。在 Orange 上，它在全部 10 次划分中均领先（14.3%），但校正后增益不显著（Holm p = 0.155）。这些划分是对相同数据集的重采样，因此这些结果不能代表独立运营商。先前基准测试的领先者 TabICL v2 仅在 Iranian 上优于最佳调优 GBDT，而非全部三个，并且在 7.3% 的基础流失率上对 Orange 的流失率低估了 2.1 个百分点。在我们测试的数据集和划分上，大幅增加调优预算和采用重复感知划分并未改变主要结论。重新调优基线将先前的头条差距从 6.1 个 PR-AUC 点缩小到 4.0 个点，但并未消除。我们使用的 TabPFN-3.5 权重许可证（License v1.0），而非评分成本，是其收益与生产使用之间的障碍。
| 评论： | 17 页，2 幅图，14 张表。代码、各划分预测和可复现性审计：此 https URL（存档于 此 https URL） |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | I.2.6; H.2.8 |
| 引用为： | arXiv:2611.12942 [cs.AI] |
| （或 arXiv:2611.12942v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12942 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ismail Hossain Polas [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 17:15:06 UTC（49 KB）
来源：arXiv cs.AI · arxiv.org