DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss 等 MoE 模型路由机制对比
一项对比梳理了 10 款开放 MoE 模型的路由配置：专家数从 Mixtral 的 8 个到 Kimi K2 与 DeepSeek-V4-Pro 的 384 个，top-k 从 Llama 4 Maverick 的 1 到 8。
MarkTechPost· Michal Sutter·2026-11-08 18:27· 53 分钟前AI 评分40
各 MoE 模型分别使用哪种路由方式？DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss 对比
AI 导读
一项对比梳理了 10 款开放 MoE 模型的路由配置：专家数从 Mixtral 的 8 个到 Kimi K2 与 DeepSeek-V4-Pro 的 384 个，top-k 从 Llama 4 Maverick 的 1 到 8。
正文 · 原文
开放混合专家（MoE）模型共享同一个理念，但在几乎每个路由细节上都不一致。专家数从 8 到 384 不等。Top-k 从 1 到 8 不等。有些模型保留一个始终启用的共享专家；另一些则将其去掉。
TL;DR
- 规模：10 款模型，从 Qwen3.6-35B-A3B（总参数 35B，激活 3B）到 DeepSeek-V4-Pro（总参数 1.6T，激活 49B）。
- 运行要求：gpt-oss-120b 使用 MXFP4 可放入一块 80 GB GPU；DeepSeek-V4-Pro 和 Kimi K2 需要多 GPU 专家并行。
- 性能：路由稀疏度从 Mixtral 的 4 倍（8 个专家，top-2）到 Llama 4 Maverick 的 128 倍（128 个专家，top-1）。
- 最佳：Kimi K2 发现，在验证损失相同时，稀疏度 48 所需的 FLOPs 比稀疏度 8 少 1.69 倍。
- 最差：Llama 4 Maverick 和 gpt-oss 未在 config.json 中公布其门控或均衡方法。
- 结论：最好的一点：配置使路由完全可审计。最差的一点：像“17B 激活”这样的名称掩盖了差异很大的路由器。
开放 MoE 模型如何路由 token？
下面每个模型都使用 token 选择路由：每个 token 选择自己的专家。它们在 5 个可调项上有所不同。这些可调项是专家数、每个 token 的专家数、共享专家、评分函数和负载均衡方法。表格列出了每个模型对应的每个可调项。
MoE 路由对比表（2026 年 11 月）
| 模型 | 总参数 / 激活参数 | 路由专家数 | Top-k | 共享专家 | 门控 | 负载均衡 |
|---|---|---|---|---|---|---|
| Mixtral 8x7B | 47B / 13B | 8 | 2 | 0 | 对 top-k 做 Softmax | 辅助损失，系数 0.02（config） |
| gpt-oss-120b | 117B / 5.1B | 128 | 4 | 0 | 对选中项做 Softmax | 未披露 |
| Qwen3-235B-A22B | 235B / 22B | 128 | 8 | 0 | Softmax，top-k 归一化 | 全局批次辅助损失，系数 0.001 |
| Qwen3.6-35B-A3B | 35B / 3B | 256 | 8 | 1 | 未披露 | 辅助损失，系数 0.001（config） |
| Llama 4 Maverick | 400B / 17B | 128 | 1 | 1 | 未披露 | 未披露 |
| DeepSeek-V3 | 671B / 37B | 256 | 8 | 1 | Sigmoid | 无辅助损失偏置（noaux_tc） |
| DeepSeek-V4-Pro | 1.6T / 49B | 384 | 6 | 1 | sqrtsoftplus | noaux_tc；3 层中使用哈希路由 |
| DeepSeek-V4-Flash | 284B / 13B | 256 | 6 | 1 | sqrtsoftplus | noaux_tc；3 层中使用哈希路由 |
| Kimi K2 | 1.04T / 32B | 384 | 8 | 1 | Sigmoid | noaux_tc + 序列辅助损失，alpha 0.001 |
| GLM-4.5 | 355B / 32B | 160 | 8 | 1 | Sigmoid | 无损失均衡路由 |
来源：各模型的 Hugging Face config.json、模型卡或技术报告，于 2026 年 11 月 7 日核实。Qwen3.6 和 Llama 4 的配置与模型卡未提及门控。gpt-oss 和 Llama 4 未提及均衡方法。
DeepSeek-V3 的路由如何工作？
DeepSeek-V3 用 sigmoid 对 256 个路由专家评分，然后对选中的分数进行归一化。每个专家的偏置引导 top-8 选择，但不影响混合权重。专家分为 8 组，路由器先保留 4 组。根据技术报告，每个 token 最多到达 4 个节点。每个 token 都有一个共享专家运行。
DeepSeek-V4 的路由有什么变化？
DeepSeek-V4 将 Pro 的路由专家数提升至 384，但把 top-k 从 8 降到 6。评分函数变为 sqrtsoftplus。前 3 个 MoE 层使用 哈希路由，即固定的 token 到专家映射。基于偏置的 noaux_tc 均衡机制保留。
Qwen3 MoE 使用多少专家？
两个原始 Qwen3 MoE 模型都使用 128 个专家，并将每个 token 路由到 8 个专家。Qwen3 取消了 Qwen2.5-MoE 的共享专家，并采用全局批次均衡损失。Qwen3.6-35B-A3B 改变了路线：根据其模型卡，使用 256 个专家，8 个路由专家加 1 个共享专家。
Llama 4 Maverick 的路由有何不同？
Llama 4 Maverick 交替使用稠密层和 MoE 层。在每个 MoE 层中，一个 token 会进入 1 个共享专家和 128 个路由专家中的 1 个。这种 top-1 设计呼应了 Switch Transformer。尽管总参数为 400B，它仍保持 17B 激活参数。
gpt-oss 如何路由 token？
gpt-oss-120b 在 128 个专家上使用线性路由器，并保留前 4 个。其配置未列出共享专家。其 MoE 权重以 MXFP4 格式发布，使这个 117B 模型能装入单块 80 GB GPU。
为什么 Kimi K2 和 GLM-4.5 看起来像 DeepSeek-V3？
Kimi K2 随附 DeepseekV3ForCausalLM 架构类和 noaux_tc 路由器。它在保持 top-8 的同时将路由专家数提升至 384。Kimi K2 报告发现，在固定激活计算量下，更高的稀疏度降低了损失。GLM-4.5 则选择 160 个专家和更多层，偏向深度而非宽度。
这一趋势对服务部署意味着什么
每层更多专家意味着更多权重常驻内存，以及更多 all-to-all 通信。更低的 top-k（如 DeepSeek-V4）减少了每 token 的计算和通信。共享专家增加了一条每个 token 都要付出的稠密路径。在为任何 MoE 部署配置 GPU 之前，请检查这些字段。
关键要点
- 专家数从 8（Mixtral）增长到 384（Kimi K2、DeepSeek-V4-Pro）。
- Top-k 现在从 1（Llama 4）到 8（DeepSeek-V3、Qwen3、Kimi K2、GLM-4.5）不等。
- 10 个模型中有 7 个保留 1 个共享专家；Mixtral、gpt-oss 和 Qwen3 没有。
- Sigmoid 或 sqrtsoftplus 配合偏置均衡是 DeepSeek 系列的标准。
- Llama 4 和 gpt-oss 未公开门控或均衡细节。
模型来源：DeepSeek-V4-Pro、DeepSeek-V3 报告、Qwen3 报告、Kimi K2 报告、GLM-4.5 报告、Mixtral 论文。另见 gpt-oss-120b 和 Llama 4 公告。
另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们
文章 Which Routing Does Each MoE Model Use? DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss Compared 首次出现在 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news