LLM 何时有助于特征选择？一项系统性实证研究

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）可以利用语义特征名称以及汇总统计量进行表格特征选择，然而，相对于已有的统计方法，此类信息何时能改善子集选择仍不清楚。我们在一个包含 18 个数据集的框架中研究这一问题，该框架包括 10 个用于 Group Relative Policy Optimization（GRPO）训练的数据集、2 个用于检查点验证的数据集，以及 6 个留出评估数据集。我们比较了五种经典基线、冻结的 Qwen2.5-7B 和 Llama-3.3-70B 选择器，以及两个经 GRPO 适配的 Qwen2.5-7B 模型，分别报告分类 ROC-AUC 和回归 R^2，并使用按数据集计算的排名进行跨任务比较。在五个带随机种子的评估划分上，经典选择器通常比所测试的 7B LLM/RL 选择器取得更高的预测性能，包括在预先指定的约 33% 特征预算下、且经典方法严格仅用训练集拟合时也是如此，而 7B 选择器则保留了紧凑的子集。一个基数匹配的语义敏感性实验表明，对于 Zero-shot Qwen-7B，有信息量的特征名称相比匿名化和打乱的替代方案提升了回归性能（平均 R^2 分别 +0.1964 和 +0.1606），而聚合分类差异较小（ROC-AUC 分别 +0.0159 和 +0.0084）且依赖于数据集。这些结果刻画了语义信息何时有利于基于 LLM 的特征选择，并表明经典选择器仍然是预测性表格特征选择的强基线。

提交历史

来自：Fateme Memar [查看邮箱]
[v1] 2026 年 10 月 20 日星期二 17:18:55 UTC（1,220 KB）