arXiv cs.AI· Yukun Huang, Sanxing Chen, Jian Pei, Manzil Zaheer, Bhuwan Dhingra·· 3 天前AI 评分23
Cite Pretrain：让大语言模型无需检索即可完成知识引用
Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models
AI 导读
研究者提出 Cite Pretrain 方法，让 LLM 无需推理时检索即可引用其（持续）预训练中的文档，并推出 CitePretrainBench 基准，涵盖 Wikipedia、Common Crawl、arXiv 及未见文档。
正文 · AI 翻译
摘要：大型语言模型可以正确回答问题，却仍会捏造其引用来源。大多数引用系统通过在推理时检索文档来解决这一问题。检索会增加延迟，并依赖外部基础设施。检索噪声也可能影响答案。我们研究 LLM 能否在无需测试时检索的情况下，从其（持续）预训练中引用文档。我们提出 CitePretrainBench 来评估这一设定。它包含 Wikipedia、Common Crawl 和 arXiv 作为真实世界语料库，也包含新颖、未见过的文档。该基准包括针对单个事实的短篇引用任务，以及针对多个事实的长篇任务。持续预训练首先将事实知识绑定到每个文档的持久标识符。指令微调随后教会模型将这些标识符作为引用放入其答案中。被动索引在每个文档末尾附加一个标识符。主动索引中使用的合成数据以多样、组合的形式重述事实。我们同时训练两个映射。这些映射是 source$\to$fact 和 fact$\to$source。第一个方向涉及模型在给定被引用来源的情况下生成内容。在第二个方向中，它学习在事实被转述或组合时为自己的答案标注来源。在 Qwen-2.5-7B 和 3B 上，主动索引在每个评估的引用任务上都比被动索引提高了引用精确率，提升最高达 30.2 个百分点。在规模消融中，随着我们添加增强数据，引用性能持续提升，包括在原始 token 数量的 16 倍时。结合内部和外部引用也提高了对检索噪声的鲁棒性。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2506.17585 [cs.AI] |
| （或此版本的 arXiv:2506.17585v4 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2506.17585 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Yukun Huang [查看电子邮件]
[v1]
2025年6月21日星期六 04:48:05 UTC（614 KB）
[v2]
2025年10月28日星期二 18:06:24 UTC（683 KB）
[v3]
2026年4月3日星期五 18:53:25 UTC（900 KB）
[v4]
2026年10月11日星期日 21:46:50 UTC（893 KB）
来源：arXiv cs.AI · arxiv.org