arXiv cs.CL· Yichi Zhang, Zhuo Chen, Lingbing Guo, Wen Zhang, Huajun Chen·· 13 小时前AI 评分22
TOFU：用细粒度可迁移多模态 Token 构建知识图谱基础模型
Every Little Helps: Building Knowledge Graph Foundation Model with Fine-grained Transferable Multi-modal Tokens
AI 导读
研究者提出基于 token 的知识图谱基础模型 TOFU，用于多模态知识图谱推理（MMKGR），将结构、视觉和文本信息离散为模态专属 token，并通过带混合消息机制的层次化融合架构获得可迁移特征。在 17 个直推、归纳与完全归纳 MMKG 上，TOFU 总体优于强 KGFM 与 MMKGR 基线，在未见过的 MMKG 上表现良好。
正文 · AI 翻译
摘要：多模态知识图谱推理（MMKGR）旨在通过同时利用图结构信息与多模态实体内容来预测缺失的链接。现有工作大多面向直推式（transductive）设定设计，学习数据集特定的嵌入，难以泛化到新的知识图谱。近期的知识图谱基础模型（KGFM）提升了跨知识图谱迁移能力，但它们主要利用结构模式，忽略了丰富的多模态信号。为弥补这些不足，我们提出了一种面向 MMKGR 的基于 token 的基础模型（TOFU），它在不同的多模态知识图谱上展现出强泛化能力。TOFU 将结构、视觉和文本信息离散化为模态特定的 token。随后，TOFU 采用带有消息混合机制的分层融合架构，以处理这些 token 并获得可用于 MMKGR 的可迁移特征。在 17 个直推式、归纳式和完全归纳式多模态知识图谱上的实验结果表明，TOFU 总体优于强 KGFM 与 MMKGR 基线，在未见过的多模态知识图谱上表现出强劲性能。
| 评论： | 工作进行中 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2602.15896 [cs.CL] |
| （或 arXiv:2602.15896v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2602.15896 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yichi Zhang [查看邮箱]
[v1]
2026年2月11日 星期三 13:32:09 UTC（1,955 KB）
[v2]
2026年10月27日 星期二 06:46:55 UTC（1,923 KB）
来源：arXiv cs.CL · arxiv.org