Aleph Alpha 开源 Kolibri：78.1B 总参数、3.46B 激活参数的英德 MoE 模型
Kolibri: A Sovereign European Model on the Pareto Frontier
Aleph Alpha 发布 Kolibri，这是一个英德双语 MoE Transformer，总参数 78.1B、每 token 激活 3.46B，以 Apache 2.0 许可开放权重。
作者：Aleph Alpha：Moritz Althaus、Artur Baranowski、Michael Barlow、Fabien C. Y. Benureau、Felix Berkenkamp、Amrita Bhattacherjee、Lukas Blübaum、Duncan Blythe、Augustijn de Boer、Bastian Boll、Thomas F. Burns、Björn Deiseroth、Niko Dürr、Béni Balázs Egressy、Niklas Finken、Niklas Freymuth、Fabian Gebhart、Max Hammer、Bastian Harren、Andreas Hartel、Johann Higl、Steffen Hirschmann、Pablo Iyu Guerrero、Yasser Jadidi、Andreas Jagusch、Mitja Kleider、Markus Klein、Jonas Knupp、Murali Kondragunta、Garwin Lechner、Dominik Lê-Kellner、Jurek Leonhardt、Jiaze Li、Sohir Maskey、Omar Mehio、Pit Neitemeier、Letitia Parcalabescu、Alejandro Petry Pacheco、Pranav Ragupathy、Martin Reinhardt、Peter Rodenkirch Nfissi、Dylan Rodriquez、Leonard Salewski、Raziye Sari、Jordan Sassoon、Ivo Schaper、Ilhan Scheer、Frank Schneider、Philipp Scholl、Lukas Schott、Eric Schreiber、Pablo Schumacher、Alessio Serra、Philipp Siedler、Prabhu Teja Sivaprasad、Mohamed Soliman、Till Speicher、Volker Stampa、Simon Thel、Serge Thilges、Irina Vidal Migallón、Denis Waßmann、Samuel Weinbach、Sascha Wirges、Michael Wüthrich、Alexei Zacharov
摘要：本报告介绍 Kolibri，一个英语-德语混合专家 Transformer，总参数 78.1B，每 token 激活参数 3.46B，以 Apache 2.0 许可证开放权重发布。我们构建 Kolibri 是为了主权和专业化部署，特别关注德语以及公共管理、工业和航空航天等受监管领域。为支持这些场景，我们控制完整的模型开发流程，包括数据、架构、训练基础设施、后训练和评估。
我们在 24T token 上训练 Kolibri，涵盖预训练、中期训练和长上下文扩展，其中德语按字节计占数据混合的 20% 以上。为达到这一比例，我们用自有流水线从网络整理并合成生成了超过 2T 德语 token，以补充德语数据集。后训练结合了在精选德语和英语数据上的监督微调，以及在超过 120 万个内部整理任务上的强化学习，这些任务涵盖推理、工具使用、指令遵循、代码和检索。该模型每 token 激活 4.4% 的参数，在本报告评估的开放模型中，它在英语和德语的质量与服务成本方面位于帕累托前沿。
Kolibri 建立在 Kolibri Origin 之上，后者是早期迭代版本，在大规模上验证了我们的完整流水线。两个模型均来自我们的 Model Factory，它通过版本控制的工作流连接数据、实验、训练、评估和部署。
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI)；机器学习 (cs.LG) |
| 引用为： | arXiv:2610.31945 [cs.CL] |
| （或 arXiv:2610.31945v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31945 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jonas Knupp [查看邮箱]
[v1]
2026年10月22日星期四 21:45:10 UTC (3,039 KB)
来源：arXiv cs.CL · arxiv.org