arXiv cs.CL· Mich-Seth Owusu·· 11 小时前AI 评分36
Africa-Papers：面向非洲基础模型的 100 亿 Token 多领域学术语料库
Africa-Papers: A 10-Billion-Token Multi-Domain Academic Corpus for African Foundation Language Models
AI 导读
研究团队发布 Africa-Papers，这是迄今最大的泛非多领域学术预训练语料库，含 844,807 篇全文论文、10.15 billion tokens，分布于 879 个 Parquet 分片。
正文 · AI 翻译
摘要：大型语言模型（LLMs）从根本上依赖于其预训练语料的多样性、深度和事实严谨性。然而，当代基础预训练数据集（如 The Pile、S2ORC 和 Dolma）存在严重的结构性缺失：非洲的科学、医学、法律和农业学术成果在全球预训练 token 中占比不足 0.5%。因此，最先进的模型在对热带流行病学、本地化小农农业生态、区域经济治理和本土语言结构进行推理时，会出现系统性失效模式。为弥补这一代表性缺口并推进非洲在人工智能领域的知识主权，我们推出 Africa-Papers，这是迄今为止规模最大的、经过整理的多领域泛非学术预训练语料库。Africa-Papers 包含超过 844,807 篇全文论文，横跨 879 个 Parquet 分片，共计 101.5 亿个 token，整合了四个主要科学来源：(1) 31 个非洲国家被 DOAJ 收录的洲际同行评审期刊，(2) CGIAR CGSpace 农业仓储库，(3) arXiv 上由非洲作者撰写或以非洲为研究重点的 STEM/AI 预印本，以及 (4) 通过 OpenAlex 索引的、由非洲机构附属学者发表的开放获取国际出版物。整个语料库被处理为布局感知的干净 Markdown，保留章节层级、数学公式和表格数据，并附有精确的 BPE token 计数和标准化的 8 领域分类体系。我们在 Hugging Face Hub 上以 AfriSpeech 组织的名义公开发布 Africa-Papers，以加速全球基础模型的持续预训练和领域评估。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28173 [cs.CL] |
| （或 arXiv:2610.28173v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28173 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Mich-Seth Owusu [查看邮箱]
[v1]
2026年10月20日星期二 13:14:58 UTC（11 KB）
来源：arXiv cs.CL · arxiv.org