arXiv cs.CL· Tohir Saidzoda, Madina Abdusalomzoda, Nasimjon Rajabov, Akhrorkhon Ikromov, Komron Giyosiev, Abubakr Abdullozoda, Amin Jalilov, Jonibek Kishvarov, Rahmonali Sharipov, Mariyamkhon Shodyeva·· 10 小时前AI 评分34
将 Qwen3 适配到塔吉克语（0.6B 至 8B）：文本损失下降不等于理解能力提升
Adapting Qwen3 to Tajik from 0.6B to 8B: Lower Text Loss Did Not Mean Better Understanding
AI 导读
在塔吉克语新闻和书籍上训练的 LoRA 适配器将 Qwen3（0.6B 至 8B）的塔吉克语文本损失降低了 0.60 至 1.45 nats/token，但在可测量的阅读理解上均无提升：Belebele 上 1.7B 和 8B 适配器准确率不变，4B 适配器反降 3.7 分。
正文 · AI 翻译
摘要：在塔吉克语新闻和书籍上训练的小型 LoRA 适配器，在我们尝试的从 0.6B 到 8B 的每个规模上都降低了 Qwen3 的塔吉克语文本损失，降幅为每 token 0.60 到 1.45 nats，但它们都没有在可测量的范围内提升塔吉克语阅读理解能力。在 Belebele 上，1.7B 和 8B 适配器的准确率保持不变，4B 适配器则使其下降了 3.7 个百分点；在 0.6B 上，分数上升了 4.2 个百分点，但接近随机水平，且与模型偏好答案字母的变化同时发生，因此我们不将其解读为理解。在 8B 上，使用约 3.75 亿 token 的原始塔吉克语文本进行持续预训练后，Belebele 提升了 9.9 个百分点。经过进一步的监督微调阶段后，我们的主模型 e3 在 Belebele 上比 Qwen3-8B 高 11.4 个百分点；其英语 MMLU 变化为 -1.2 个百分点，且排除了大于 3.3 个百分点的损失。将同样的重配方应用于 Qwen3-0.6B-Base，在仅书籍预训练后使其文本损失接近 8B 模型的水平，而其多项选择答案仍接近随机水平，英语 MMLU 下降了 7.6 个百分点。我们报告了 2025 年 6 月至 10 月期间训练的 15 个模型及其 5 个起始模型，于 2026 年在同一测试框架上以配对区间评分，并报告了出错之处：丢失的训练记录、几乎不含推理的思考模式数据集、训练数据从未被记录的后续分支，以及一个不包含 transformer 层的 4 位发布版本。
| 评论： | 8 页，3 张表，1 张图。技术报告 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06062 [cs.CL] |
| （或 arXiv:2611.06062v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06062 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tohir Saidzoda 先生 [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 07:08:21 UTC（46 KB）
来源：arXiv cs.CL · arxiv.org