Sarvam 开放 Token Factory:在印度本地托管 8 个开源模型的推理平台
Sarvam 向所有开发者开放 Token Factory,通过统一的 OpenAI 兼容 API 从印度 GPU 集群提供 Sarvam 105B、GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro 等 8 个开源权重模型。
MarkTechPost· Asif Razzaq·2026-11-17 17:51· 1 小时前AI 评分51
Sarvam 推出 Sarvam Token Factory:将印度托管的推理服务带给 8 个开放模型
AI 导读
Sarvam 向所有开发者开放 Token Factory,通过统一的 OpenAI 兼容 API 从印度 GPU 集群提供 Sarvam 105B、GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro 等 8 个开源权重模型。
正文 · 原文
Sarvam 已向所有人开放 Sarvam Token Factory。Sarvam Token Factory 是 Sarvam 推出的推理平台,从印度的 GPU 集群提供其自有模型和开放权重模型。开发者通过 一个 OpenAI 兼容 API 访问所有模型。对于印度本土团队而言,这意味着低延迟的 token,而无需将流量发送到海外云。你可以通过我们的 GPULeaderboard.com chrome 扩展 在此查看部署选项和规格。
TL;DR
- 规模:发布时列出 8 个模型,包括 Sarvam 105B(总参数 105B,激活参数 9B,128K 上下文)、GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro 和 Gemma 4 31B。
- 运行于:印度的 NVIDIA B200 集群。Sarvam 105B 现在每个副本可容纳于 1 块 B200 上。为企业提供本地部署选项。
- 性能:根据 Sarvam 自己的测量,在大多数测试用例中,从孟买获得最快的首 token。
- 最佳表现:Kimi K3.1 Pro 每 GPU 每秒 6,177 个 token,而 InferenceX 为 3,213 个,每用户每秒 70 个 token(1.9 倍)。
什么是 Sarvam Token Factory?
它是一个托管推理栈,而非单一模型。Sarvam 最初在其 Epoch 活动上以 Sarvam Inference 之名预览。发布帖列出了 8 个模型:Sarvam 105B、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3、Kimi K3.1 Pro 和 Gemma 4 31B。
文档将它们分为 2 组。按需付费模型运行在共享端点上。DeepSeek V4 Pro、Kimi K3.1 Pro、Qwen 3.8 27B、Clef 和 EmbeddingGemma 2 需要预置吞吐量,按组织启用。
它如何工作?
该栈围绕共享缓存分为 3 层:
- 控制平面:一个缓存感知路由器、准入控制和规划器。
- 推理引擎:为预填充和解码分别设置独立的 GPU 池。
- 缓存:GPU 内存加上基于 Mooncake 构建的共享 G3 存储。
它构建在 vLLM、SGLang、Dynamo、Mooncake、NIXL、DeepEP、DeepGEMM 和 FlashInfer 之上。一个编排代理提出实验,工程师批准每次部署。
缓存带来了大部分收益。DeepSeek V4.1 Flash 每天服务 450B+ 个 token,其中 95.7% 的提示 token 由缓存提供。在 GLM 5.3 上,规划器在相同的重放负载下将预填充 GPU 小时数从 32.3 降至 17.1。
对于 Sarvam 105B,MXFP8 权重加上推测解码将输出吞吐量提高了约 2.2 倍。这将每个副本从 2 块 B200 减少到 1 块。Sarvam 表示这些更改均未降低准确性。
它有多快?基准测试
以下所有数字均来自 Sarvam 的发布帖。它们是自我报告的。
- Sarvam 105B:单用户首 token 0.2 秒,每秒 330 个 token。
- Gemma 4 31B(10K 提示,孟买):首 token 0.40 秒,每秒 308 个 token,而唯一另一家提供商为 2.00 秒和每秒 193 个 token。
- Kimi K3.1 Pro(16 块 B200):与 InferenceX 相比,每 GPU 每秒 6,177 对 3,213 个 token,每用户每秒 70 个 token。
- 高代理负载(72 个会话):首个 token 中位数为 0.8 秒,而 InferenceX 为 11.6 秒。
- GLM 5.3 Flash(64 个会话):首个 token 的 p99 为 3.2 秒,而原版 vLLM 和 Dynamo 为 14.1 秒。
结果并非全面胜出。在 10K 提示词的 DeepSeek V4.1 Flash 上,Together 的首个 token 为 0.71 秒,而 Sarvam 为 0.90 秒。Together 的流式输出也更快,为 278 tokens/s,而 Sarvam Standard 为 130。
费用是多少?
价格以每 1M tokens 的印度卢比计,详见文档:
| 模型 | 输入 / 输出(₹ 每 1M) |
|---|---|
| Sarvam 105B | ₹10 / ₹25(优惠价) |
| GLM 5.3 | ₹126 / ₹390 |
| GLM 5.3 Flash | ₹13.5 / ₹45 |
| Gemma 4 31B | ₹35 / ₹90 |
| DeepSeek V4.1 Flash 1017 | ₹14 / ₹55(优惠价) |
优惠价持续到 2026 年底。更快的 DeepSeek Interactive 端点价格为输入 ₹25、输出 ₹105。预置模型费率未在文档页面公布。
与其他推理提供商相比如何?
| 指标 | Sarvam Token Factory | Together AI | Fireworks AI | DeepInfra |
|---|---|---|---|---|
| 服务地点 | 印度的 GPU 集群 | 未披露 | 未披露 | 未披露 |
| OpenAI 兼容 API | 是 | 是 | 是 | 是 |
| 第一方 LLM | Sarvam 105B | 未披露 | 未披露 | 未披露 |
| 本地部署选项 | 是 | 未披露 | 未披露 | 未披露 |
| DeepSeek V4.1 Flash 1017 价格(每 1M 输入 / 输出) | ₹14 / ₹55 | $0.30 / $1.20 | $0.30 / $1.20 | $0.20 / $0.60(标价);$0.14 / $0.42(促销) |
| 缓存输入(每 1M) | 未披露 | $0.006 | $0.006 | $0.006 |
| 从孟买测得的 TTFT,1K 提示词(Sarvam 实测) | 0.51 秒 | 0.61 秒 | 1.01 秒 | 1.08 秒 |
| 从孟买测得的 TTFT,10K 提示词(Sarvam 实测) | 0.90 秒 | 0.71 秒 | 1.55 秒 | 1.75 秒 |
| 输出速度(Sarvam 实测) | 130 tok/s(Standard),200(Interactive) | 278 tok/s | 193 tok/s | 未披露 |
关键要点
- Sarvam Token Factory 通过一个 OpenAI 兼容 API,在印度提供 Sarvam 及开放权重模型的服务。
- Sarvam 105B 起价为每 1M tokens 输入 ₹10、输出 ₹25。
- Sarvam 报告称,在 Kimi K3.1 Pro 上,每 GPU 吞吐量是 InferenceX 的 1.9 倍。
- 在 DeepSeek V4.1 Flash 的流式速度上,Together 仍然胜过它。
- 所有基准数字均为自报。
查看 技术博客、API 文档以及 X 上的发布帖。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。
另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等?联系我们
文章 Sarvam 推出 Sarvam Token Factory:将印度托管的推理带给 8 个开放模型 首次发布于 MarkTechPost。
来源:MarkTechPost · marktechpost.com
来源:RadarAI · aihot.news