arXiv cs.CL· Lukas Edman, Alexander Fraser·· 3 天前AI 评分22
Qwenfant：用简洁平行文本训练大字符级 BabyLM
Qwenfant: Train Big Character-level BabyLMs on Concise Parallel Text
AI 导读
面向 2026 BabyLM Challenge 多语言赛道，研究者基于 Qwen3 训练出 Qwenfant，提交时在该赛道排名第 1。方法用 LLM 摘要并翻译的数据提升数据质量，再叠加更大模型与字符级词表两项改动，二者均需 LoRA 式微调才能发挥全部潜力。
正文 · AI 翻译
摘要：本工作涉及我们提交给 2026 BabyLM 挑战赛多语言赛道的方案。我们使用由 LLM 摘要并翻译的数据改进了基线，表明更高质量的数据可以来自合成来源。我们进一步通过 2 个简单的改动加以改进：使用更大的模型，以及使用字符级词表。这两项改动都需要 LoRA 风格的微调才能充分发挥其潜力。我们将最终的基于 Qwen3 的模型命名为 Qwenfant，在提交时，该模型在多语言赛道中排名第 1。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19294 [cs.CL] |
| （或 arXiv:2610.19294v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19294 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
发件人：Lukas Edman [查看电子邮件]
[v1]
2026年10月13日星期二 23:15:40 UTC（97 KB）
来源：arXiv cs.CL · arxiv.org