RadarAI· X：Tianyi Cui（@tianyi）·· 3 小时前AI 评分70
DeepSeek 以 Apache-2.0 开源大规模推理框架 DeepInfer
AI 导读
DeepSeek 以 Apache-2.0 许可证开源了高性能大规模推理框架 DeepInfer，仓库地址为 https://github.com/deepseek-ai/DeepInfer。
正文 · 原文
Tianyi Cui· @tianyi · X·2026-10-20 17:08· 20 分钟前精选AI 评分67
AI 导读
DeepSeek 开源高性能大规模推理框架 DeepInfer，采用 Apache-2.0 许可，仓库地址 https://github.com/deepseek-ai/DeepInfer。支持优化 kernel、模型与 sampler 运行时，Attention DP、平衡 CP、MoE EP + EPLB 等并行方案，以及 DSpark、置信度调度验证、SWA bounded replay、零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。
推荐理由
原文给出 DeepInfer 的开源许可和特性清单，读者可以据此评估这一推理框架对现有部署方案的影响。
DeepSeek 刚刚以 Apache-2.0 许可证开源了其高性能、大规模推理框架 DeepInfer。
https://github.com/deepseek-ai/DeepInfer
支持的特性：
- 优化的内核、模型与采样器运行时
- 并行：Attention DP / 均衡 CP，MoE EP + EPLB
- DSpark 与置信度调度验证
- SWA 有界重放
- 异步调度（零开销批调度器）
- 批不变推理
- 确定性采样
- 结构化输出
来源：Tianyi Cui · x.com
来源：RadarAI · aihot.news