arXiv cs.CL· Yalda Taheri, Mohammad Hassan Heydari, Armon Rasooli·· 11 小时前AI 评分26
Yalda-Embedding：面向波斯语检索的 5.958 亿参数开源嵌入模型
Yalda-Embedding: Open Development of a Competitive Persian Retrieval Model
AI 导读
Yalda-Embedding 是一个 5.958 亿参数的波斯语检索模型，基于 Qwen3-Embedding-0.6B 用超 100 万查询-文档对适配而成。
正文 · AI 翻译
摘要：尽管多语言文本表示取得了进展，但波斯语的有效稠密检索仍受限于语言特定训练资源和紧凑嵌入模型的可用性有限。我们提出 Yalda Embedding，这是一个拥有 5.958 亿参数的波斯语检索模型，基于 Qwen3-Embedding-0.6B 使用超过一百万对查询-文档对进行适配。在 FaMTEB 的八项波斯语检索任务上，该模型在受评估的 0.6B 模型中取得了最高的宏平均分，得分为 0.5488，并在每项任务上均优于 Qwen3-Embedding-0.6B 和 F2LLM-v2-0.6B。它还接近 Qwen3-Embedding-4B，在四项任务上胜出，在一项任务上持平，宏平均分落后 0.0075。一项增量消融研究考察了对比批大小、优化稳定化以及来自 F2LLM-v2-8B 的关系知识蒸馏。在单轮训练设置下，仅对比微调相比初始化带来适度的平均提升，并在两项任务上出现退化。最终的蒸馏配置在全部八项任务上均优于非蒸馏模型，将平均值从 0.4813 提升至 0.5488，且未增加推理时的模型规模。这些提升包括在未显式挖掘或提供难负样本的情况下训练，却在难负样本评估任务上取得的提升。我们发布模型权重、训练与评估代码、成对数据集及其教师嵌入对应版本，使数据组成和训练过程可被检查、可独立评估，并可在无需重复昂贵的教师推理的情况下复用。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32933 [cs.CL] |
| （或 arXiv:2610.32933v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32933 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mohammad Hassan Heydari [查看电子邮件]
[v1]
2026年10月23日星期五 17:30:40 UTC（336 KB）
来源：arXiv cs.CL · arxiv.org