arXiv cs.CL· Louis Est\`eve, Christophe Servan, Thomas Lavergne, Agata Savary·· 11 小时前AI 评分31
法国版 ModernBERT 预训练研究：多样性采样让数据量减少 94%、训练时间缩短 73%
A Diversity Diet for a Healthier Model: A Case Study of French ModernBERT
AI 导读
一项针对法语 ModernBERT 的研究发现，随机采样与多样性驱动采样都能在保持性能的前提下将预训练数据集缩减最多 94%、预训练时间缩短最多 73%。在部分任务上，多样性采样模型经 head-only 微调估计的内在质量比随机采样高出最多 10 分。该研究在固定算力预算下对比了多种多样性采样算法，并用最优算法预训练了多个法语 ModernBERT 模型，在多项法语基准上完成微调与评测。
正文 · AI 翻译
摘要：近年来，多样性在 NLP 社区中日益受到关注。与此同时，ModernBERT 等最先进的 transformer 模型使用了规模非常大的预训练数据集，这些数据集是由规模而非多样性驱动的。这促使我们研究多样性对预训练的影响。我们在本研究中对此进行了探讨，明确目标是减少预训练数据集规模，同时至少保持可比的性能。我们比较了多样性驱动的采样算法，并使用其中最佳的一种，在固定计算预算下用法语预训练了若干 ModernBERT 模型。我们在多种法语基准上对它们进行微调和评估。我们将它们与在规模相当、计算预算相同的随机采样数据上预训练的模型进行比较。我们发现，随机采样和多样性驱动采样均可将预训练数据集最多减少 94%，将预训练时间最多减少 73%，同时保持性能。此外，在某些任务中，通过仅微调头部估计的模型固有质量，使用多样性采样比使用随机采样最多高出 10 分。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2602.22014 [cs.CL] |
| （或 arXiv:2602.22014v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2602.22014 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Findings of the Association for Computational Linguistics: ACL 2026, pages 34168-34181, San Diego, California, United States. Association for Computational Linguistics |
| 相关 DOI： | https://doi.org/10.18653/v1/2026.findings-acl.1707
链接到相关资源的 DOI |
提交历史
来自：Louis Estève [查看电子邮件]
[v1]
2026年2月25日星期三 15:29:30 UTC（360 KB）
[v2]
2026年10月23日星期五 09:13:36 UTC（376 KB）
来源：arXiv cs.CL · arxiv.org