arXiv cs.CL· Yingyi Zhang, Chengzhi Zhang·· 10 小时前AI 评分27
利用大语言模型增强学术论文摘要与全文中的知识实体关系抽取
Enhancing Knowledge Entity Relation Extraction in Abstracts and Full-text Content of Academic Articles Using Large Language Models
AI 导读
研究系统评估了多种 LLM 策略在学术论文知识实体关系抽取（KERE）上的效果，并新增 SLM 增强开源 LLM、闭源 LLM 增强开源 LLM 两种策略。在自建的两个 NLP 领域标注数据集上，经 LoRA 适配的 T5 模型取得最高 macro F1，摘要与全文数据集分别为 0.7408 和 0.7013。
正文 · AI 翻译
摘要：本研究探讨了大型预训练语言模型（LLM）在学术论文知识实体关系抽取（KERE）中的有效性。现有研究考察了基于 LLM 的各类策略，并使用精确率和召回率等指标评估模型性能。为提供更全面的评估，本研究考察了多种策略，包括基于闭源 LLM 的 CoT 提示、经 LoRA 适配的开源 LLM、LLM 增强的小型预训练语言模型（SLM）以及 SLM 增强的闭源 LLM。此外，本研究还引入了两种策略，即 SLM 增强的开源 LLM 和闭源 LLM 增强的开源 LLM。这些策略从多个角度进行评估，包括指标、缓解 SLM 中所观察到错误的能力，以及模型优化的潜在方向。本研究在 NLP 领域手工构建了两个标注数据集，涵盖摘要数据集和全文数据集。实验结果表明，经 LoRA 适配的 T5 模型在摘要数据集和全文数据集上分别取得了最高的宏平均 F1 分数 0.7408 和 0.7013。在 LLM 增强 SLM 策略下，SLM 也能从 LLM 生成的实体描述中获益。误差分析进一步表明，基于 LLM 的策略在缓解 SLM 错误方面的有效性因错误类型而异。基于所发现的这些策略的局限性和错误模式，本文提出了若干优化方向。此外，将具有不同错误模式的策略相结合可进一步提升 KERE 性能。
| 学科： | 计算与语言（cs.CL）；数字图书馆（cs.DL）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.41552 [cs.CL] |
| （或 arXiv:2610.41552v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.41552 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | Scientometrics, 2026 |
提交历史
来自：Chengzhi Zhang [查看电子邮件]
[v1]
2026年10月30日星期五 10:50:28 UTC（9,050 KB）
来源：arXiv cs.CL · arxiv.org