arXiv cs.AI· Christian M. M. Frey·· 11 小时前AI 评分29
表格基础模型的主动上下文学习：何时、何地、如何采集标签
When, Where, How: Active In-Context Learning for Tabular Foundation Models
AI 导读
研究针对冻结的表格基础模型（TFM）提出主动上下文学习采集策略，在二十个基准上对比多样性、预测不确定性与目标感知信息增益三类规则。结果显示多样性采集在最初几轮迭代最有效，而通过简单的目标感知最近邻规则标注与目标输入相关的池行收益显著。EPIC 在标签预算下取得最佳模型，在八个最大池基准上仅标注 5-10% 数据即保留平均 80-87% 的校正后全量数据性能，所选标签还能提升 GBDT 的预测表现。
正文 · AI 翻译
摘要：表格基础模型（TFMs）仅通过其上下文中的带标签行来适应新任务。然而，在现实场景中获取标签成本高昂，因为需要高度专业的领域知识来确保高质量数据。主动上下文学习将经典的采集规则迁移到这一设定中，其中指导采集的模型会随着每个新增标签而变化。我们探究了当冻结的 TFM 获取更多上下文时，多样性、预测不确定性和目标感知信息增益的价值如何变化。为此，我们研究了目标感知最近邻（TANN）采集和上下文中的期望预测信息增益（EPIC），并将它们与经典规则进行了评估对比。我们在二十个基准上使用两个成熟的 TFM 和经典 GBDT 进行的研究揭示了三个发现：（i）何时：基于多样性的采集在最初的采集迭代中效果最佳；（ii）何处：通过简单的目标感知最近邻规则，对服务于目标输入的池行进行标注至关重要；（iii）如何：EPIC 在标签预算下产生最佳模型，在八个池最大的基准上，仅标注 5-10% 的池即可平均保留 80--87% 的机会校正全数据性能，并且所选择的标签还能提升梯度提升决策树的预测性能。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07886 [cs.LG] |
| （或 arXiv:2611.07886v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.07886 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Christian Frey [查看邮箱]
[v1]
2026年11月5日 星期四 12:04:48 UTC（397 KB）
来源：arXiv cs.AI · arxiv.org