arXiv cs.CL· Iffat Maab, Waleed Jamil, Raphael Schmitt·· 10 小时前AI 评分22
DunbaaBERT：从牺牲到语义的乌尔都语 RoBERTa 模型
DunbaaBERT: From Sacrifice to Semantics
AI 导读
研究团队推出 DunbaaBERT，一组从零训练的乌尔都语 RoBERTa-base 模型，使用 32k、52k、96k 三种 Byte-BPE 词表，训练语料为去重后的 17 GB 乌尔都语数据。
正文 · AI 翻译
摘要：大语言模型在许多 NLP 任务上取得了强劲表现，然而由于资源有限和评估设置分散，乌尔都语仍然相对缺乏探索。为填补这一空白，我们推出 DunbaaBERT，这是一系列乌尔都语 RoBERTa-base 模型，基于去重后的 17 GB 乌尔都语语料，使用 32k、52k 和 96k 词元的 Byte-BPE 词表从零开始训练。我们在涵盖语言可接受性、新闻分类、攻击性语言检测和情感分析的内在及下游乌尔都语 NLP 基准上评估 DunbaaBERT，同时分析词表大小对性能、预训练动态和计算效率的影响。在各基准上，DunbaaBERT 各变体与强大的多语言基线相比取得了有竞争力的表现，同时始终维持有利的效率权衡。在我们的受控实验设置下，增大词表大小并未持续提升下游效果，DunbaaBERT$_{32k}$ 反复提供最强的整体效率表现。总体而言，我们的结果表明，经过精心构建的乌尔都语专用编码器模型尽管模型和训练规模相对紧凑，仍可保持高度竞争力。所有模型均以 MIT 许可证发布。
| 评论： | 定稿版本。正式版本：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.26935 [cs.CL] |
| （或本版本的 arXiv:2605.26935v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2605.26935 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Findings of the Association for Computational Linguistics: IJCNLP-AACL 2026, pp. 2074-2093 |
提交历史
来自：Raphael Schmitt [查看电子邮件]
[v1]
2026年5月26日星期二 12:28:20 UTC（1,207 KB）
[v2]
2026年11月6日星期五 16:57:27 UTC（1,208 KB）
来源：arXiv cs.CL · arxiv.org