arXiv cs.CL· Tohir Saidzoda, Nekruz Maxudov, Bedil Karimov, Abubakr Abdullozoda, Amin Jalilov, Jonibek Kishvarov, Rahmonali Sharipov, Mariyamkhon Shodyeva·· 10 小时前AI 评分18
Saidzoda-Tajik-E5-Large：为塔吉克语检索微调 560M 嵌入模型
Saidzoda-Tajik-E5-Large: Fine-Tuning a 560M Embedder for Tajik Retrieval
AI 导读
研究团队基于 multilingual-e5-large-instruct（560M 参数）构建塔吉克语文本嵌入模型 Saidzoda-Tajik-E5-Large，用自研塔吉克语模型生成 235,140 组问答对训练一个 epoch。
正文 · AI 翻译
摘要：找到回答问题的段落是大多数基于文档构建的实用系统的第一步，而对于塔吉克语，我们没有找到任何公开描述的模型。我们提出 Saidzoda-Tajik-E5-Large，一个基于 multilingual-e5-large-instruct（5.6 亿参数）构建的塔吉克语文本嵌入器。我们让自家的塔吉克语语言模型为来自塔吉克语法律、税务文件、维基百科和网络文本的段落编写问题，并在 235,140 个问题-段落对上训练了一个 epoch，困难负样本由另一个嵌入器选取，并混入英语和俄语对，以免模型遗忘这些语言。在模型从未见过的法律上，93.6% 的问题的正确段落位列前十条结果，高于 80.2%；在税务文件上，为 94.5%，对比 82.6%。在 Belebele 上——我们唯一由人工编写的测试——提升较小且未获确认（92.2% 到 95.2%，区间有重叠），俄语和英语没有变化。在与训练问题风格相同的法律和税务问题上，它与规模为其五倍的 Giga-Embeddings-3B 持平；在 Belebele 上，3B 和 8B 模型得分略高，且只有在我们用自己的数据微调它们之后才明显领先。我们还报告了失败之处：以 bfloat16 训练破坏了模型，用相似的俄语字母替换塔吉克语字母没有帮助。我们的法律、税务和维基百科测试问题来自编写训练问题的同一模型，因此在有塔吉克语使用者编写的问题可用之前，我们将这些分数视为上限。
| 评论： | 10 页，5 张表，1 张图。技术报告。模型：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00592 [cs.CL] |
| （或 arXiv:2611.00592v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00592 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tohir Saidzoda Mr [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 03:41:43 UTC（51 KB）
来源：arXiv cs.CL · arxiv.org