arXiv cs.CL· Ansar Aynetdinov, Patrick Haller, Alan Akbik·· 14 小时前AI 评分34
重复优于多样性：面向样本高效德语语言建模的高信号数据过滤
Repetition over Diversity: High-Signal Data Filtering for Sample-Efficient German Language Modeling
AI 导读
对 500M 德语网页文档施加分层质量过滤后，多轮重复高质量子集的训练效果持续优于在更大、过滤更少的语料上单轮训练，且差距在 7 个 epoch 后依然存在。研究团队开源了德语模型 Boldt 及清洗后的评测基准，称其在比同类模型少 10-360 倍 token 的训练量下取得 SOTA 结果。
正文 · AI 翻译
摘要：近期研究表明，将海量英语网络语料过滤为高质量子集可显著提升训练效率。然而，对于德语、法语或日语等高资源非英语语言，激进过滤会造成战略困境：实践者应优先考虑多样性，在大量轻度过滤的网络数据上训练一次，还是优先考虑质量，严格过滤出高质量核心并在多个轮次中重复使用？我们通过对 5 亿份网络文档应用分层质量过滤器，比较在过滤子集上进行多轮训练与在多样化语料上进行单轮训练，来研究德语中的这一权衡。我们在多种模型规模和 token 预算下的实验表明，重复使用高质量数据始终优于在更大、过滤较少的集合上进行单轮训练。值得注意的是，即使经过 7 个轮次，性能差距依然存在。我们的发现表明，对于非英语 LLM，通过质量过滤实现语义集中，比单纯最大化唯一数据量，为高效语言建模提供了更可行的路径。我们向研究社区发布我们的德语语言模型（称为 Boldt）以及我们清理后的评估基准。我们的实验表明，尽管训练所用的 token 数量比同类模型少 10-360 倍，它们仍取得了最先进的结果。
| 评论： | 已被 EMNLP 2026（主会）接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.28075 [cs.CL] |
| （或 arXiv:2604.28075v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.28075 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ansar Aynetdinov [查看电子邮件]
[v1]
2026年4月30日星期四 16:21:28 UTC（921 KB）
[v2]
2026年5月1日星期五 13:52:15 UTC（483 KB）
[v3]
2026年10月23日星期五 19:22:47 UTC（491 KB）
来源：arXiv cs.CL · arxiv.org