arXiv cs.CL· Yunhao Wang, Feng Zhang, Tinghao Yu, Xing Wu, Jiang Zhou·· 3 天前AI 评分24
AFCS：面向事实知识预训练的原子事实条件合成
AFCS: Atomic-Fact-Conditioned Synthesis for Factual Knowledge Pretraining
AI 导读
AFCS 是一种先抽取源文档原子事实、再以每条事实驱动生成的合成数据流水线，结合结构感知抽取、源依据验证、局部上下文扩展与多格式生成。
正文 · AI 翻译
摘要：合成数据正越来越多地用于语言模型预训练。现有的知识语料合成流程，包括 WRAP 和 Nemotron-CC，通常以源段落或文档片段作为输入，并基于该文本生成改写或问答风格的样本。这可以改善表层形式和提示多样性，但并未明确要求细粒度的源事实——尤其是次要实体、列表/表格条目以及精确的时间属性——出现在合成语料中。我们提出 AFCS（原子事实条件合成），这是一个先提取源支持的原子事实、再用每个保留事实驱动生成的流程。AFCS 采用基于文档树的结构感知提取、源依据验证、局部上下文扩展和多格式生成。在使用 OLMo-3-7B 和 32B 基础模型、基于同一 FineWiki 源语料进行的持续预训练实验中，AFCS 在 SimpleQA、SimpleQA Verified、PopQA 和 HotpotQA 上优于 WRAP 和 Nemotron-CC。粒度消融实验表明，事实级合成优于块级、段落级和实体级合成；并且 100B token 的中期训练集成提升了事实性基准，并将 12 项任务通用基准平均值提高了 +1.09。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20086 [cs.CL] |
| （或 arXiv:2610.20086v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20086 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yunhao Wang [查看邮箱]
[v1]
2026年10月14日星期三 12:24:40 UTC（780 KB）
来源：arXiv cs.CL · arxiv.org