尼泊尔语词表扩展：修复预分词正则

Naamche Labs 的 Aarjan Chaudhary 提出并测试了一种修复预分词正则的尼泊尔语词表扩展方法。Llama-3 与 Qwen3 的预分词正则只接受 Unicode 字母，导致尼泊尔语在天城体元音符号处被切分，同样文本消耗的 token 是英文的 2.6 至 5.8 倍。作者称，对已部署正则做一处小改动，可证明不改变不含组合符号或天城体字符文本的每个 token id。 新增 32,000 次合并后，尼泊尔语 token 数降至英文的 1.01 倍，比标准扩展少约 54% 的尼泊尔语 token。作者称，把修复方法的训练步数与标准扩展对齐、重复约 35% 的数据后，Qwen 上两者排序反转，Llama 上未反转。 作者表示，token 节省能否在生成时带来有利的延迟与质量权衡尚未测试；tokenizer 与代码已发布。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。