arXiv cs.CL· Linyu Li, Zhi Jin, Yuanpeng He, Dongming Jin, Haoran Duan, Zhengwei Tao, Xuan Zhang, Jiandong Li, Huanyao Zhang, Gadeng Luosang, Nyima Tashi·· 11 小时前AI 评分22
重新审视知识图谱嵌入的泛化能力：实证研究与稀疏峰值正则化
Rethinking Generalization in Knowledge Graph Embedding: An Empirical Study and Sparse Peak Regularization
AI 导读
一项覆盖翻译模型、张量分解、GNN、时序与多模态等知识图谱嵌入（KGE）模型的实证研究发现，过拟合在各模型家族中普遍存在，适当正则化可显著提升泛化与预测性能。基于此提出的稀疏峰值正则化（SPR）将基于排序的选择性稀疏引入正则化目标，只惩罚主导高能量嵌入分量、不惩罚低能量分量。在八个基准数据集上，SPR 在几乎所有设置下均优于 N3、DURA、ER 等现有正则化方法。
正文 · AI 翻译
作者：Linyu Li、Zhi Jin、Yuanpeng He、Dongming Jin、Haoran Duan、Zhengwei Tao、Xuan Zhang、Jiandong Li、Huanyao Zhang、Gadeng Luosang、Nyima Tashi
摘要：知识图谱（KG）提供了实体与关系的结构化表示，并支撑数据管理以及搜索、推荐和问答等 Web 应用。由于 Freebase 和 Wikidata 等 Web 规模的知识图谱本身并不完整，知识图谱嵌入（KGE）将实体和关系映射到连续向量空间，并被广泛用于通过链接预测推断缺失事实。尽管 KGE 模型设计已取得广泛进展，正则化的作用却较少被系统考察，尤其是在张量分解模型之外。本文的主要贡献是从泛化角度对 KGE 正则化进行全面的实证研究。在基于翻译、基于张量分解、基于 GNN、时序和多模态的 KGE 模型中，我们表明过拟合在各模型家族中普遍存在，而适当的正则化可以显著提升泛化能力和预测性能。受这些发现启发，我们进一步提出稀疏峰值正则化（SPR），这是一种简单且与模型无关的正则化器，将基于秩的选择性稀疏性引入正则化目标。SPR 将惩罚集中在占主导地位的高能量嵌入分量上，这些分量对嵌入范数和过拟合风险贡献最大，同时不对低能量分量施加惩罚，从而避免不必要地抑制微弱但有用的信号。在八个基准数据集和多种 KGE 模型上的实验表明，与 N3、DURA 和 ER 等现有正则化器相比，SPR 在几乎所有设置下都取得了最佳结果。这些结果表明，正则化在 KGE 中值得更系统的关注，而选择性正则化是提升 KGE 模型泛化能力的一种有效且广泛适用的策略。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2505.23442 [cs.LG] |
| （或本版本的 arXiv:2505.23442v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2505.23442 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Linyu Li [查看邮箱]
[v1]
2025年5月29日 星期四 13:39:18 UTC（3,579 KB）
[v2]
2026年10月20日 星期二 09:19:21 UTC（952 KB）
来源：arXiv cs.CL · arxiv.org