arXiv cs.AI· Mohammad Sadeq Abolhasani, Viswanath Ganapathy·· 11 小时前AI 评分24
Griffin 如何通过合成数据课程学习实现先验数据拟合关系模型
Path to Prior-Data Fitted Relational Models via Learned Latent Multi-table Representations
AI 导读
图关系基础模型 Griffin 在大规模合成关系数据库上预训练后，仅将编码器潜表示交给冻结的上下文预测器，在 16 个真实关系分类任务上取得最佳冻结上下文性能。以 schema 引导数据起步、再转向 schema 无关数据的纯合成课程，优于仅用真实数据预训练及所有无序单阶段混合语料；接在真实数据预训练之后可得到整体最佳编码器。结果首次表明 PFN 式合成预训练可迁移到基于消息传递的图关系基础模型。
正文 · AI 翻译
摘要：先验数据拟合网络（PFN）表明，在大量合成任务上预训练能够泛化到未见过的数据集，且几乎或完全无需下游微调。这一范式对基于 transformer 的表格与关系基础模型（如 RDB-PFN）有效，但对于基于消息传递的图关系模型仍基本未被探索。我们在大量合成关系数据库上预训练图关系基础模型 Griffin，并探究课程学习——它有益于基于 transformer 的关系学习器——是否也能改善消息传递表示。我们不对下游任务进行微调，而是将预训练编码器用作通用关系表示学习器，并将其潜在表示传给冻结的上下文内预测器（\ticl{}）；没有任何组件在目标任务上训练。在 16 个真实世界关系分类任务上，以五个随机种子对照原始特征和未训练编码器基线进行评估，一个纯合成课程——先使用模式引导数据、再使用模式无关数据——给出了最强的冻结上下文内性能\rev{，优于仅用真实数据预训练以及语料的每一种无序单阶段混合；当接在真实数据预训练之后时，它总体上产生最佳编码器}。这些结果为 PFN 式合成预训练可迁移到图关系基础模型提供了初步证据。
| 评论： | 发表于第五届图学习会议（LoG 2026），美国马萨诸塞州波士顿，2026 年 11 月 20-22 日 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.23073 [cs.LG] |
| （或 arXiv:2610.23073v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23073 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mohammad Sadeq Abolhasani [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 07:43:20 UTC（21 KB）
来源：arXiv cs.AI · arxiv.org