arXiv cs.CL· Martin Docekal, Martin Fajcik, Pavel Smrz·· 6 天前AI 评分27
OARelatedWork：面向开放获取来源的大规模相关工作章节数据集
OARelatedWork: A Large-Scale Dataset of Related Work Sections with Full-texts from Open Access Sources
AI 导读
研究者发布 OARelatedWork，首个面向相关工作生成的大规模多文档摘要数据集，包含 94 450 篇论文的完整相关工作章节与所引论文全文，验证集和测试集确保每篇来源论文均有全文。
正文 · AI 翻译
摘要：本文介绍了 OARelatedWork：一个基于开放获取来源的相关工作生成数据集。它是首个用于相关工作生成的大规模多文档摘要数据集，包含完整的相关工作章节和被引论文的全文。其验证集和测试集的构建方式确保每篇源论文都有全文可用，从而能够对全文相关工作生成进行受控评估。该数据集包含来自多个领域的 94 450 篇论文。借助 OARelatedWork，我们旨在推动该领域从仅基于摘要生成相关工作章节的部分内容，转向基于所有可用内容生成完整的相关工作章节。我们（i）对广泛的模型进行了基准测试，强调合成大规模全文上下文对经过测试的高性价比大语言模型（LLM）而言仍是一项挑战：在我们的语句级评判下，GPT-4o-mini 的有证据支撑的 True 率从使用摘要时的 92.9% 降至使用全文时的 83.8%。我们（ii）通过对 40 篇论文和 408 条事实性陈述的人工评估，实证分析了人类写作行为，揭示出作者经常引入在局部源文本中无依据的抽象性主张；因此，经过测试的 LLM 在严格的、有证据支撑的事实性方面实际上超越了人类基线。最后，我们（iii）进行了细粒度的元评估，揭示出标准的基于参考的指标不足以评估此类长格式结构化输出，并引入了一个稳健的语句级评估框架来弥补这一空白。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2405.01930 [cs.CL] |
| （或使用 arXiv:2405.01930v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2405.01930 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
发件人：Martin Docekal [查看电子邮件]
[v1]
2024年5月3日星期五 08:49:22 UTC（20,532 KB）
[v2]
2026年6月1日星期一 07:12:15 UTC（10,502 KB）
[v3]
2026年10月9日星期五 07:25:55 UTC（10,511 KB）
来源：arXiv cs.CL · arxiv.org