arXiv cs.AI· Rishabh Ranjan, Vignesh Kothapalli, Harshvardhan Agarwal, Charilaos Kanatsoulis, Roshan Upendra, Tom Palczewski, Carlos Guestrin, Jure Leskovec·· 3 天前AI 评分30
RT-J：面向上下文高效预测的关系型 Transformer 大规模预训练
RT-J: Large-Scale Pretraining of Relational Transformers for Context-Efficient Predictions
AI 导读
研究团队推出 85M 参数的关系型基础模型 RT-J，仅需数百个甚至更少的上下文示例即可做出准确预测。该模型基于 639 个网页抓取数据库、6,023 个 LLM 生成预测任务构建的 Join 数据集预训练，支持最长 8,192 个数据库单元格的上下文，并采用随机游走检索器、上下文调优与集成扩展测试时计算。
正文 · AI 翻译
摘要：用于表格和关系数据库的基础模型正越来越多地用于各科学和工业领域的预测任务。然而，将现有模型适配到未见过的数据集需要数万个示例。在此，我们提出 RT-J，一个拥有 8500 万参数的关系基础模型（RFM），即使只有数百个或更少的上下文示例也能做出准确预测。为此，我们首先构建了 Join，一个包含 639 个网络爬取数据库、6,023 个 LLM 生成预测任务的大型集合。我们使用长达 8,192 个数据库单元的长上下文进行预训练，并使用来自一种新型轻量级随机游走检索器的上下文示例。最后，我们利用上下文调优和集成来扩展测试时计算。在 RelBench 的上下文回归任务上，RT-J 平均需要少 10 倍的示例，即可匹配使用 LLM-agent 或 RDBLearn 特征化器以及 TabICLv2 或 LightGBM 预测器的强特征工程流水线。总体而言，我们的工作推进了关系数据上上下文高效预测的前沿，并凸显了真实世界语义、上下文工程和大规模预训练对 RFM 的重要性。
| 评论： | 被 NeurIPS 2026 接收。网站：this https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；数据库（cs.DB） |
| 引用为： | arXiv:2610.17867 [cs.LG] |
| （或 arXiv:2610.17867v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17867 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Rishabh Ranjan [查看电子邮件]
[v1]
2026年10月13日星期二 07:27:44 UTC（1,023 KB）
[v2]
2026年10月14日星期三 04:27:19 UTC（1,029 KB）
来源：arXiv cs.AI · arxiv.org