跳到正文
arXiv cs.CL· Yingtong Dou, Shubham Jain, Junpeng Wang, Hadi Abdullah, Vineeth Rakesh Mohan, Yuzhong Chen, Liang Wang, Yiwei Cai·· 9 小时前AI 评分38

Visa Research 用 Llama 3.2 1B 微调出 VRLLM,表格分类超越树模型与生产深度学习模型

VRLLM: Turning LLMs into Powerful Tabular Classifiers

AI 导读

Visa Research 将预训练的 Llama 3.2 1B 在数十亿行标注表格数据上微调,得到 VRLLM,其表格分类表现超过多种表格分类器乃至其生产深度学习模型。论文公开了数据准备、训练配方、设计选择消融与部署验证,并在同一任务上评测前沿 LLM 的预测行为。可解释性实验显示 VRLLM 学到特征相关的预测关联,最早两层 FFN 促成线性可解码任务信息的出现。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)在文本上表现出强劲的性能,但预训练 LLM 是否对大规模表格分类有效仍不清楚,因为许多先前的工作表明,LLM 的表格数据分类性能落后于树模型或为表格数据设计的神经架构。在 Visa Research,我们成功地在数十亿行带标签的表格数据上微调了一个预训练的 Llama 3.2 1B LLM,并使其性能超过众多表格分类器,甚至超过我们具有竞争力的生产深度学习模型。为便于引用,我们将该模型称为 Visa Research LLM(VRLLM)。在本文中,我们分享了如何取得这一令人振奋的结果,涵盖数据准备、训练配方、设计选择的消融研究以及部署验证。我们还在同一任务上对前沿 LLM 进行了基准测试,并分析了它们在不同模型系列和代际上的预测行为。我们的可解释性实验表明,VRLLM 学习到了特征特定的预测关联,而组件消融表明,最早的两个 FFN 层有助于线性可解码任务信息的涌现。我们的论文提供了一份工程配方,以及一个关于将紧凑型 LLM 适配到工业表格预测任务的聚焦实证案例研究。
评论: 技术报告。进行中
主题: 机器学习(cs.LG);计算与语言(cs.CL)
引用为: arXiv:2611.22308 [cs.LG]
  (或本版本的 arXiv:2611.22308v1 [cs.LG])
  https://doi.org/10.48550/arXiv.2611.22308

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yingtong Dou [查看邮箱]
[v1] 2026年11月17日星期二 07:06:25 UTC(883 KB)

来源:arXiv cs.CL · arxiv.org