arXiv cs.AI· Vinko Sabol\v{c}ec, Bettina Messmer, Yassine Turki, Martin Jaggi·· 9 天前AI 评分22
将英语质量分类器适配于多语言 LLM 预训练数据筛选
Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
AI 导读
一项研究提出多语言适配方法，将现有英语质量分类器扩展至 100 多种语言，用于 LLM 预训练数据筛选。该方法在 Transformer encoder-only 模型嵌入之上训练小型多层感知机，以英语分类器对机器翻译文本的打分为标签。1B、3B 和 8B 规模实验显示，其下游 LLM benchmark 表现与现有多语言基于模型的筛选基线相当，且未损害区域与文化知识基准。
正文 · AI 翻译
摘要：大语言模型（LLM）预训练的最新进展凸显了高质量训练数据在提升性能方面的作用。虽然基于模型的过滤已被证明能有效从网络规模语料库中筛选高质量子集，尤其对高资源语言而言，但低资源语言由于标注数据有限而面临挑战。本工作通过提出一种多语言适配方法，将现有的英语质量分类器转换为多语言变体，从而探索将质量过滤扩展到 100 多种语言。我们的方法提出在仅编码器 Transformer 模型嵌入之上训练一个小型多层感知机，以多语言文本作为输入，并以将英语分类器应用于机器翻译文本所获得的分数作为标签。我们的 1B、3B 和 8B 规模实验表明，我们的方法在保持现有基于多语言模型的过滤基线的下游 LLM 基准性能的同时，不会损害区域和文化知识基准。为了进一步评估跨语言泛化能力，我们比较了高质量合成数据和网络样本的分类器分数，以及分类器分数与基于 LLM 的分数之间的相关性，结果表明该分类器能够学习其原始英语变体的评分标准，即使对于未包含在其训练数据中的语言也是如此。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11585 [cs.CL] |
| （或 arXiv:2610.11585v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11585 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vinko Sabolčec [查看电子邮件]
[v1]
2026年10月8日星期四 09:33:32 UTC（1,170 KB）
来源：arXiv cs.AI · arxiv.org