Aleph Alpha 发布开源权重模型 Kolibri，支持 100 万 token 上下文

Aleph Alpha 发布了 Kolibri，这是一个开放权重的双语模型，面向政府和受监管行业的主权、关键任务工作。这款英德混合专家 Transformer 拥有 781 亿参数，每个 token 激活 34.6 亿参数，支持最长一百万个 token 的上下文，并可在 Apache 2.0 许可下从 Hugging Face 下载完整权重。客户可以在本地运行，而无需将内部数据发送给第三方推理服务。

Kolibri 建立在早前的 Kolibri Origin 和 Aleph Alpha 的自动化 Model Factory 之上。新模型在 768 块 B200 GPU 上训练，最初 21 天使用 20 万亿 token，随后进行中期训练和长上下文适配，总计近 24 万亿 token。其架构使用 384 个专家，每个 token 激活六个，50 层中有 10 层使用全注意力，其余 40 层使用 512 token 滑动窗口以控制推理成本。尽管适配达到 256,000 token，Aleph Alpha 提供了以 1,048,576 token 服务该模型的设置。

德语占预训练 token 的 21.3%，并配有 128,000 条目的双语词表和旨在保留德语复合词的分词器。该模型提供四种推理设置：none、low、medium 和 high，外加工具调用。Aleph Alpha 表示，它专为德语、数学、编程、长上下文工作和智能体任务而定制，并针对公共管理、汽车、半导体、工业技术和航空航天设有行业特定评估套件，这些套件不使用客户数据。

在该公司的基准测试中，Kolibri 的英语总分为 75.5，德语总分为 70.8。它在 AIME 2025 上得分 96.9，在 LiveCodeBench v6 上得分 85.9，在 BFCL v4 总成绩上得分 61.4。Aleph Alpha 表示，该模型在英语和德语中处于质量与推理成本的帕累托前沿，在数学、代码、接地、智能体和长上下文任务上，可匹敌激活参数最多为其四倍的模型。这些是厂商运行的结果，使用 Aleph Alpha 自己的测试框架，并在适用时使用可用的最高推理设置。

接地是此次发布的核心。Kolibri 在弃权示例和 Aleph Alpha 的 Merlin-Arthur 程序上训练，这教会它在证据缺失时拒绝作答。它在 44% 的 AA-Omniscience 项目上避免了错误答案，而 Kolibri Origin 为 14.8%，并在该公司的 M/A 接地得分上达到 0.23。Aleph Alpha 在德国构建了该模型，在德国和芬兰训练了它，并表示其对数据整理、训练、评估、权重和部署的控制旨在满足欧洲合规和主权要求。部署使用 Aleph Alpha 的推理包和 Kolibri 专用的 vLLM 插件。

来源与相关背景

• 使用 Aleph Alpha 的 vLLM 插件部署 Kolibri：支持：官方仓库记录了用于部署该模型的推理包以及 Kolibri 专用的推理和工具调用解析器。
• Aleph Alpha 的 Merlin-Arthur 接地方法如何工作：相关背景：这项研究说明描述了文章讨论文档接地和弃权背后的对抗训练过程。

来源