近期大语言模型在标准基准上生成知识图谱到文本的实证研究

An Empirical Study of Recent Large Language Models for Knowledge Graph to Text Generation on Standard Benchmarks

AI 导读

研究对近期 LLM 与微调编码器-解码器模型在知识图谱到文本生成任务上进行基准对比，发现 LLM 在基于参考的指标上大幅缩小并在部分设置下追平差距，在基于图谱的指标上表现更优。基于 LLM 的评估分数与基于参考的指标相关性有限，说明两者捕捉的生成质量维度不同。基于图谱的评估显示，提示词驱动的模型比微调模型产生更少矛盾与三元组遗漏，且微调模型的这类错误随图谱规模增大而增长更快。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：知识图谱到文本（KG-to-text）生成将一组知识图谱三元组转化为流畅的自然语言。虽然微调的编码器-解码器模型长期以来是标准方法，但近期的 LLM 正变得日益具有竞争力。我们以基于参考的指标和经人工标注验证的、基于图谱的无参考 LLM 评估，将近期 LLM 与微调的编码器-解码器模型进行基准比较。我们观察到，近期 LLM 在基于参考的指标上大幅缩小了与微调模型的差距，并在若干设置下已接近持平，同时在基于图谱的指标上表现更好。基于 LLM 的评估分数与基于参考的指标相关性有限，表明这两种方法捕捉的是生成质量的不同方面。基于图谱的评估显示，提示模型产生的矛盾和三元组遗漏少于微调模型，且对于微调模型，这些错误随图谱规模增大而增加得更快，凸显了基于参考的指标可能无法完全捕捉的两种方法之间的差异。

评论：	18 页，6 幅图，17 张表，预印本，审稿中
主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.31529 [cs.CL]
	（或 arXiv:2610.31529v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.31529 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Priyanka - [查看电子邮件]
[v1] 2026 年 10 月 22 日星期四 16:36:35 UTC（129 KB）

来源：arXiv cs.CL · arxiv.org