Lara Mini Base：以 6T token 训练 45 种语言的开源 MoE 基座模型
Lara Mini Base: Language Diversity as a Resource, Not a Trade-off
Translated 团队发布 Lara Mini Base，从零在 6T token 上训练，覆盖英语及另外 44 种语言，合计涵盖欧盟全部 24 种官方语言。
作者：Translated、Maria Pia Adinolfi、Isabelle Andrieu、Grazia Fiorella Anfuso、Melania Annunziata、Daniele Antonini、Marta Arena、Luca Barone、Dana Barras Franco、Francesca Basiricò、Francesca Bee、Sofia Bertini、Nicola Bertoldi、Giorgio Biancini、Alessandra Bigi、Giulia Boccalini、Tommaso Bonomo、Enrico Boscardi、Sebastien Bratieres、Francesco Brigante、Giulia Brignola、Romolo Buondestino、Brenda Patricia Byrne、Giorgia Campora、Edoardo Cappelli、Veronica Carascosi、Francesca Carducci、Cody Carlson、Davide Caroselli、Ambra Cascio、Dario Cascio、Mauro Cassani、Andrea Castro、Alessandro Cattelan、Giulia Ceccacci、Paola Cellini、Giulia Chiriatti、Federico Cialini、Valentina Ciarlariello、Daniele Cocozza、Emanuela Coghe、Kathleen Compares、Marco Comunità、Davide Conti、Helen Rebecca Corfield、Michele Cortellessa、Anna Cracco、Aurora Cuppone、Arianna D'Andrea、Maurizio Davoli、Andrea De Angelis、Andrea De Blasi、Rebecca De Giorgi、Annalisa De Petra、Arianna De Pilla、Joris Demiraj、Elena Deufemia、Federica Di Antonio、Pierluigi Di Cianni、Vincenzo Di Cicco、Michela Di Clemente、Alan Di Francesco、Ylenia Di Gese、Federica Di Iulio、Claudia Di Lorenzo、Andrea Di Paola、Giulia Di Pilla、Jessica Dickson、Francesco Elefante、Ilaria Fabrizio、Alessandro Falappa、Viviana Fantozzi、Antonio Farina、Andrea Fernandez Tostado Ro.Diego Andrea、Andrea Ferrari、Sara Ferri、Simona Ferri、Fabio Fioramonti、Stefano Florio、Mariachiara Fornaro、Anna Maria Foti、Niccolò Fransoni、Alessandro Fusacchia、Emma Gamba、Francesco Gasperoni、Davide Gattini、Marta Giani、Claudia Giannetti、Valerio Giannini、Antonella Giudici、Mara Gramendola、Michele Grandinetti、Eleonora Graziani、L'Meese Hope Greaney、Dario Gubernari、Filomena Guglielmi、Jonathan Hammond、Stephen William Harris、Rowena Elizabeth Hogg、Marta Hontanon Del Olmo
等（另有 106 位作者未列出）
摘要：通用语言模型主要用英语训练：在我们审查的开放模型中，非英语预训练数据最多只占 12%。为欧洲语言构建的模型给这些语言的数据要多得多，但得分远低于同等规模的通用模型。一个常见的担忧是，在小模型中，各语言会争夺容量。我们提出 Lara Mini base，这是一个从零开始训练的模型，训练数据为 6T token，涵盖英语和其他 44 种语言，这些语言合计覆盖欧盟全部 24 种官方语言。随着训练推进，这 44 种其他语言的总量逐渐超过英语。为了以低成本为这些语言提供足够的容量，Lara Mini base 采用混合专家架构，总参数 7.2B，激活参数 0.6B。在激活参数不超过 2B 的开放基础模型中，它在标准英语、多语言、数学和代码基准上的平均得分最高，领先于用 4 到 6 倍 token 训练的模型。其优势在其支持语言的多语言基准和数学基准上最大。它支持最长 128k token 的上下文。我们发现，我们的 MoE 架构减少了语言之间的容量竞争。在单 GPU、单用户、不量化的情况下，它的文本生成速度至少比任何平均得分更高的模型快 1.8 倍。我们以 CC BY-NC-SA 4.0 许可证发布 Lara Mini base 的权重。此外，我们将发布 T-HellaSwag，这是常识推理基准 HellaSwag 的 110 种语言变体的更高质量机器翻译版本。
| 评论： | 51 页，14 幅图，29 张表。模型权重：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.16956 [cs.CL] |
| （或 arXiv:2611.16956v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16956 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marco Trombetti [查看电子邮件]
[v1]
2026 年 11 月 12 日星期四 15:28:56 UTC（101 KB）
来源：arXiv cs.AI · arxiv.org