Pearl-Chat：用 JAX 和 Flax NNX 从第一性原理构建原生卢干达语模型

查看 PDF HTML（实验性）

摘要：自回归基础语言模型主要面向高资源印欧语系语言，这给代表性不足的非洲语言带来了计算和形态学上的额外负担。通用多语言分词器在黏着型班图语上通常超过每词 3.2 个 token 的生育率，从而降低上下文效率并增加延迟。我们提出 Pearl-Chat，一个 8,473,122 参数（$\sim$8.5M）的因果解码器专用 Transformer，专为卢干达语（Oluganda，ISO 639-2: lg）设计，这是一种低资源尼日尔-刚果班图语，在东非有超过 1000 万人使用。Pearl-Chat 基于第一性数学原理，使用 JAX 和 Flax NNX 构建，采用显式函数状态分解（this http URL 和 this http URL）、通过 Google Grain 实现的确定性可恢复数据流，以及使用 this http URL 的 SPMD 张量并行。我们引入了一种字节级字节对编码（BPE）子词分词器，在精选的卢干达语语料库上从头训练（$V = 8,192$），实现了每 token 4.88 个字符的压缩率和每词 1.60 个 token 的生育率，相比 LLaMA-3（128K）和 Gemma（256K）实现了两倍的压缩改进。该模型采用两阶段课程训练：第 1 阶段在 59,501 个序列上进行预训练，涵盖平行、圣经、百科和新闻语料库；第 2 阶段在 510 个对话上进行指令微调，并采用仅助手损失掩码。在 4,000 个优化步骤中，验证交叉熵损失从 9.4695（困惑度：12,958.98）单调下降到 0.1818（困惑度：1.20），下降了 9.2877 纳特。在三级留出诊断基准上，Pearl-Chat 实现了 0.9792 的 ROUGE-L 和 0.9405 的 BLEU，同时在班图语名词类别间保持了一致性。我们提供了 Python 服务器发送事件（SSE）流式运行时，并开源了所有权重、分词器和代码。

评论：	17 页，8 幅图
主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.22529 [cs.CL]
	（或 arXiv:2610.22529v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.22529 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Wesley Kambale [查看电子邮件]
[v1] 2026 年 10 月 15 日星期四 18:22:15 UTC（1,453 KB）