arXiv cs.CL· Mullosharaf K. Arabov, Svetlana S. Khaybullina·· 12 小时前AI 评分20
面向低资源黏着语巴什基尔语的大语言模型参数高效适配：语料、数据集与可复现基准
Parameter-Efficient Adaptation of Large Language Models to a Low-Resource Agglutinative Language: A Corpus, Datasets, and a Reproducible Benchmark for the Bashkir Language
AI 导读
研究发布巴什基尔语开放资源套件与适配方法基准，含71,567篇文档、46.9M tokens的Bashkir Web Corpus及三个标注数据集。在8个架构（82M-8B）上对比全量微调、QLoRA与上下文学习，YandexGPT-5-Lite-8B结合持续预训练在二分类上达macro-F1 0.748，高于XLM-R的0.653和mBERT的0.650。
正文 · AI 翻译
摘要：巴什基尔语是一种用西里尔字母书写的低资源黏着语，在现代 LLM 中的代表性仍然很差。我们提出了一套开放资源套件和系统的适配方法基准：巴什基尔语网络语料库（71,567 份文档，46.9M 个 token，16 个来源）以及三个用于二分类、多分类和多标签文本分类的标注数据集；该基准涵盖前两项。实验使用八种架构（82M-8B：DistilGPT2、GPT-2 base/medium、Phi-3-mini、Mistral-7B、YandexGPT-5-Lite-8B、mBERT、XLM-R）和三个适配组（全量微调、QLoRA、上下文学习），外加持续预训练（CPT）。(1) 在 3.8-8B 模型上，QLoRA 在二分类任务上优于仅编码器微调：使用 CPT 的 YandexGPT-5-Lite-8B 达到 macro-F1 0.748，而 XLM-R 为 0.653、mBERT 为 0.650；经 Holm 校正后，成对差异显著（p<0.001）。(2) 在多分类任务、BPB 和母语者评分上，YandexGPT-5-Lite-8B 显著优于 Mistral-7B 和 Phi-3-mini（均值 3.28 对 2.52 和 2.22；n=100；alpha=0.69-0.77；p<0.05）；在二分类任务上，其 QLoRA 优势不显著（p>=0.084）。(3) CPT 效果取决于模型和任务：困惑度对 Phi-3-mini（+0.58）和 YandexGPT-5-Lite-8B（+0.33）有所改善，但对 Mistral-7B 变差（-1.15，p<0.001）；在二分类任务上，CPT 对 Mistral-7B 帮助最大（+4.0 macro-F1）。(4) 巴什基尔语上的分词器生育率相差 2.67 倍（2.92-7.80），并与适配质量相关，而不同分词器之间的困惑度不可比较。使用俄语预训练的以西里尔字母为基础的分词器更可取；LLM 评判在语法和连贯性上能复现母语者评分（rho=0.33-0.46），但在语言正确性上不能（rho=0.16，p=0.11）；母语者评估仍然必要。所有产物均采用开放许可。
| 评论： | 预印本。29 页，1 张图，17 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31397 [cs.CL] |
| （或 arXiv:2610.31397v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31397 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mullosharaf Arabov Am [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 14:59:55 UTC（1,117 KB）
来源：arXiv cs.CL · arxiv.org