百度开源 ERNIE 5.5 Flash Base 基座模型：280B 总参数、14B 激活
百度开源 ERNIE 5.5 Flash Base 稀疏 MoE 基座语言模型，总参数 280B、每 token 激活 14B，预训练使用 33.5T tokens。微调与推理上下文最长 1M-token，提供 FP8 与 BF16 权重，官方称其在同规模基座模型的多个基准上取得 SOTA。权重直接来自预训练、未做中后期训练，便于研究者在同一 checkpoint 上比较不同方法。
原文给出了参数规模、激活量与上下文长度，读者可据此判断这一基座模型在同类中的定位。
Baidu Inc.· @Baidu_Inc · X·2026-11-05 16:55· 1 小时前AI 评分58
AI 导读
百度发布 ERNIE 5.5 Flash Base 稀疏 MoE 基座语言模型并开放权重。模型总参数 280B、每 token 激活 14B，预训练 33.5T tokens，微调和推理上下文最长 1M-token，提供 FP8 与 BF16 权重。官方称其在同规模基座模型中于多个基准取得 SOTA，权重直接来自预训练、未做中后期训练，方便研究者在同一 checkpoint 上比较不同方法的效果。
正文 · 原文
ERNIE 5.5 Flash Base 刚刚发布！是时候打开那个项目文件夹了。🚀
我们高效稀疏 MoE 语言模型的数据涵盖多个领域和语言，在同等规模基座模型的多个基准上取得 SOTA。其架构与训练系统协同设计，以实现高效的训练和推理，并在注意力机制、专家路由和训练目标上取得进展：
- 总参数 280B；每 token 激活 14B
- 预训练 33.5T tokens
- 微调和推理上下文最长 1M-token
- FP8 与 BF16 权重
权重直接来自预训练，未做中后期训练。从同一 checkpoint 比较不同方法，衡量各自带来的增益，并围绕你自己的任务塑造模型。
来源：Baidu Inc. · x.com
来源：RadarAI · aihot.news