利用人工编纂词汇在低资源语言中进行文本生成

Text Generation in Low-Resource Languages Using Human-Curated Vocabularies

AI 导读

研究者提出一种框架，将人工编纂词汇与少量人工撰写的示例句结合，并按 Zipf 分布采样候选词，让 LLM 在极低资源甚至未见过的语言中生成连贯文本。实验按词汇多样性、偏离目标比例和人工流畅度评分评估，结果显示具备推理能力的 LLM 即使在极低资源语言中也能生成流畅文本，句子级表现尤为突出，段落级也有可观效果。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：合成文本生成是缓解低资源语言数据稀缺问题的一种有前景的方法。然而，对于在 LLM 预训练数据中极少出现或完全缺失的语言，其效果本质上受到限制。与此同时，许多此类语言拥有由人工整理的词汇表，可提供丰富的词汇和语义信息，通常还附带词性标注等语法信息。在本工作中，我们探讨 LLM 能否利用这些资源，在极低资源且未见过的语言中生成连贯文本。我们提出了一个框架，将人工整理的词汇表与少量提供句法信号的人工撰写示例相结合，同时按照 Zipfian 分布采样候选词。在资源可用程度不同的多种语言上，我们使用词汇多样性、偏离目标比率以及人工流畅度判断来评估生成的文本。结果表明，具备推理能力的 LLM 即使在极低资源语言中也能生成流畅文本，在句子层面效果尤为突出，在段落层面也表现出良好前景。我们的发现凸显了一条在低资源语言中引导合成数据的实用路径，即使在现有数字资源极其有限的情况下也能扩大可用文本的数量。我们的源代码可在此 https URL 获取。

学科：	计算与语言（cs.CL）
引用为：	arXiv:2610.37105 [cs.CL]
	（或 arXiv:2610.37105v1 [cs.CL] 为此版本）
	https://doi.org/10.48550/arXiv.2610.37105 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Michael Christlambert Sinanta [查看邮箱]
[v1] 2026年10月27日星期二 12:05:40 UTC（1,767 KB）

来源：arXiv cs.CL · arxiv.org