arXiv cs.AI· Youmin Ko, Hyemin Yang, Taeuk Kim, Hyunjoon Kim·· 3 天前AI 评分22
SATKGC：面向知识图谱补全的子图感知语言模型训练框架
Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning
AI 导读
研究者提出子图感知训练框架 SATKGC，通过子图感知 mini-batching 鼓励难负样本采样并缓解实体出现频率不平衡，同时引入新的对比学习机制，让模型更关注结构属性上更难的批内负三元组和正三元组。该工作称首次将知识图谱的结构归纳偏置全面融入 PLM 微调，在三个 KGC 基准上验证了优越性，代码已开源。
正文 · AI 翻译
摘要：微调预训练语言模型（PLMs）最近显示出提升知识图谱补全（KGC）的潜力。然而，大多数基于 PLM 的方法仅关注编码文本信息，忽视了知识图谱的长尾特性及其各种拓扑结构，例如子图、最短路径和度数。我们认为这是阻碍 PLMs 在 KGC 中达到更高准确率的主要障碍。为此，我们提出了一种用于 KGC 的子图感知训练框架（SATKGC），包含两个思路：（i）子图感知的小批量采样，以鼓励难负样本采样并缓解训练期间实体出现频率的不平衡；（ii）新的对比学习，以更关注批次内更难的负三元组以及就知识图谱结构性质而言更难的正面三元组。据我们所知，这是首个将知识图谱的结构归纳偏置全面纳入微调 PLMs 的研究。在三个 KGC 基准上的大量实验证明了 SATKGC 的优越性。我们的代码已公开。
| 评论： | 已被 The Web Conference 2025 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2407.12703 [cs.CL] |
| （或 arXiv:2407.12703v5 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2407.12703 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Youmin Ko [查看电子邮件]
[v1]
2024年7月17日星期三 16:25:37 UTC（8,250 KB）
[v2]
2024年7月19日星期五 00:34:13 UTC（8,250 KB）
[v3]
2024年7月23日星期二 06:26:30 UTC（8,250 KB）
[v4]
2024年10月15日星期二 15:59:09 UTC（4,180 KB）
[v5]
2025年1月31日星期五 12:56:16 UTC（1,626 KB）
来源：arXiv cs.AI · arxiv.org