StepFun 开放 Step 5 Preview 权重：600B MoE、27B 激活、1M 上下文
StepFun 以开放权重发布 Step 5 Preview：600B MoE、27B 激活、1M 上下文
StepFun 以开放权重发布 Step 5 Preview，这是一个 600B 参数、每 token 激活 27B 的稀疏 MoE 模型，支持最高 1M token 上下文，FP8 和 BF16 权重已上线 Hugging Face 和 ModelScope。
MarkTechPost· Michal Sutter·2026-10-17 14:29· 2 小时前AI 评分69
StepFun 发布 Step 5 Preview 开放权重：600B MoE、27B 激活、1M 上下文
AI 导读
StepFun 发布 Step 5 Preview 开放权重，为 600B 参数、每 token 激活 27B 的 MoE 模型，支持最高 1M token 上下文，FP8 和 BF16 权重已上线 Hugging Face 和 ModelScope。
正文
StepFun 已发布 Step 5 Preview 的开放权重。FP8 和 BF16 检查点已在 Hugging Face 和 ModelScope 上线。Step 5 Preview 是 StepFun 推出的稀疏混合专家模型，专为长周期智能体工作打造。它总参数 600B，每 token 激活 27B，上下文最高支持 1M token。对开发者而言，这是编码智能体、文档分析和金融工作流的一个新的可自托管选项。
TL;DR
- 规模：总参数 600B，每 token 激活 27B，上下文最高 1M token。
- 运行环境：仅限数据中心 GPU。FP8 需要 4 块 B300 或 8 块 H200。BF16 需要 8 块 B300 或 16 块 H200。
- 性能：编码方面接近开放权重同类模型 GLM-5.3 和 Kimi K3。落后于 GPT-6 Astra 和 Claude Opus 5。
- 最佳：AA-LCR 长上下文推理得分 88.3%（Artificial Analysis）。
- 最差：Terminal-Bench 4.0 得分 33.3%，而 GLM-5.3 为 41.9%。
Step 5 Preview 是什么？
Step 5 Preview 是 StepFun 面向智能体工作的旗舰模型。StepFun 将其定位用于软件工程、专业知识工作和金融。该模型可浏览大型代码库、协调多文件修改、运行代码并迭代结果。它还能分析长文档、图表、截图和视频，生成结构化报告。
API 于 9 月 20 日上线。权重随后于 10 月 14 日发布。
架构如何工作？
600B 参数中每 token 仅激活 27B。StepFun 的技术团队补充了内部细节：
- 深度：92 个 transformer 块，采用窄而深的设计。
- 注意力组合：门控滑动窗口注意力与全注意力层以 3:1 交错。
- 稀疏 GQA：全注意力层为每个查询选取 4,096 个历史 token，按 8 个一块打分。
- 投机解码：MTP-3 头带来约 30% 的端到端加速。
- 训练：FP8 混合精度，并在百万级可验证智能体环境中进行 RL。
Step 5 Preview 在基准测试中表现如何？
StepFun 在 High 推理设置下进行了自己的评估。其图表中的对手以 Max 强度运行，因此对比并非同等条件。
- DeepSWE v1.1：67.7（SWE-agent 框架，temperature 1.0，top_p 0.95）
- Terminal-Bench 4.0：33.3
- Agents’ Last Exam (ALE-CLI)：29.5
独立数据来自 Artificial Analysis via OpenRouter。该模型在 Intelligence Index 上得分 43.7。AA-LCR 达 88.3%，Humanity’s Last Exam 达 46.5%。GDPval-AA 为 54.3%。
Vals AI 结果显示出明显弱点。SRE Bench 为 0.4%。Harvey 的 Legal Agent Benchmark 为 9.2%。
在金融方面，StepFun 的图表显示 FrontierFinance 得分 66.4%。这超过了 GLM-5.3 和 Kimi K3，但落后于 Claude Opus 5 的 69.7%。
与其他开放权重模型相比如何？
| 功能 | Step 5 Preview | GLM-5.3 | Kimi K3 |
|---|---|---|---|
| 总参数 | 600B | 753B（HF 文件大小） | 2.8T |
| 激活参数 | 27B | 未披露 | 104B |
| 上下文窗口 | 1M | 1M | 1M |
| 输入模态 | 文本、图像（API 增加视频） | 仅文本 | 文本、图像 |
| 权重格式 | FP8、BF16 | BF16、FP8 | MXFP4 权重 |
| 许可证 | StepFun Model License 1.0 | GLM-5.3 许可证 | Kimi K3 许可证 |
| 列出的最低自托管配置 | 4x B300（FP8） | 未披露 | 未披露 |
| DeepSWE v1.1（StepFun 报告） | 67.7 | 66.9 | 67.5 |
| Terminal-Bench 4.0（StepFun 报告） | 33.3 | 41.9 | 12.6 |
| FrontierFinance（StepFun 报告） | 66.4 | 64.1 | 62.6 |
| 每 1M tokens 的 API 价格（输入 / 输出） | $1.00 / $2.70 | 未披露 | $3.00 / $15.00 |
基准测试数据来自 StepFun 的对比图表，由 CellCog 转录，eesel 亦同。
运行 Step 5 Preview 需要什么硬件？
这是一个数据中心模型。仅 FP8 检查点就有 650.32 GB。列出的配置：
- 在 vLLM 或 SGLang 上运行 FP8：4 块 B300 GPU 或 8 块 H200 GPU，各在 1 个节点上。
- 在 vLLM 上运行 BF16：1 个节点配 8 块 B300 GPU，或 2 个节点配 16 块 H200 GPU。
- Transformers：仅限离线生成。完整的 BF16 分片工作流尚未经过端到端验证。
vLLM 和 SGLang 提供专用 Docker 镜像，带有 OpenAI 兼容 API。在 Blackwell 上，专家并行模式使用 MegaMoE 后端。StepFun 建议 temperature 1.0、top_p 0.95 和 top_k 0。
API 费用是多少？
StepFun API 每 1M 输入 tokens 收费 $1.00，每 1M 输出 tokens 收费 $2.70。缓存命中每 1M 收费 $0.10。输出定价包含推理 tokens。该 API 支持低、中、高推理强度、工具调用和 JSON Schema 输出。
要点
- 600B MoE，27B 激活，1M 上下文，现以 FP8 和 BF16 开放权重。
- 列出的最小自托管配置：4x B300 GPU 配 FP8。
- 最佳独立得分：AA-LCR 长上下文推理 88.3%。
- 最弱环节：Terminal-Bench 4.0 上 33.3%。
- API 每 1M tokens 输入 $1.00、输出 $2.70。
查看 Hugging Face 上的模型权重、GitHub 仓库、技术博客、BF16 权重、ModelScope 和 API 文档。所有功劳归于本项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
文章 StepFun 发布 Step 5 Preview 开放权重：600B MoE、27B 激活、1M 上下文 首次出现在 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news