跳到正文
热点事件持续更新

研究:LLM知识图谱到文本生成评测

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Priyanka 等作者发布实证研究,在标准基准上对比近期大语言模型与微调编码器-解码器模型的知识图谱到文本生成能力。研究发现,LLM 在基于参考的指标上大幅缩小了与微调模型的差距,并在部分设置下追平;在基于图谱的指标上,LLM 表现更优。 研究还指出,基于 LLM 的评估分数与基于参考的指标相关性有限,说明两者衡量的生成质量维度不同。基于图谱的评估显示,提示词驱动的模型比微调模型产生更少的矛盾与三元组遗漏,而微调模型的这类错误随图谱规模增大增长更快。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv cs.CL
    近期大语言模型在标准基准上生成知识图谱到文本的实证研究

    研究对近期 LLM 与微调编码器-解码器模型在知识图谱到文本生成任务上进行基准对比,发现 LLM 在基于参考的指标上大幅缩小并在部分设置下追平差距,在基于图谱的指标上表现更优。基于 LLM 的评估分数与基于参考的指标相关性有限,说明两者捕捉的生成质量维度不同。基于图谱的评估显示,提示词驱动的模型比微调模型产生更少矛盾与三元组遗漏,且微调模型的这类错误随图谱规模增大而增长更快。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。