Griffin 图关系基础模型合成预训练课程研究

研究人员提出图关系基础模型 Griffin，在大规模合成关系数据库上预训练后，仅将编码器潜表示交给冻结的上下文预测器，在 16 个真实关系分类任务上取得最佳冻结上下文性能。 研究比较了不同预训练数据安排：以 schema 引导数据起步、再转向 schema 无关数据的纯合成课程，优于仅用真实数据预训练及所有无序单阶段混合语料；接在真实数据预训练之后可得到整体最佳编码器。作者称，结果首次表明 PFN 式合成预训练可迁移到基于消息传递的图关系基础模型。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。