Buoyant 开源 Kinference：面向 Kubernetes 与 vLLM 的推理控制平面
Linkerd 背后的公司 Buoyant 发布开源项目 Kinference，一个面向 Kubernetes 和 vLLM 的推理控制平面，当前版本 v0.1.0-alpha.7，采用 Rust 编写、Apache 2.0 许可。
MarkTechPost· Michal Sutter·2026-11-07 16:16· 3 小时前AI 评分46
Buoyant 发布 Kinference：面向 Kubernetes 和 vLLM 的开源推理控制平面
AI 导读
Linkerd 背后的公司 Buoyant 发布开源项目 Kinference，一个面向 Kubernetes 和 vLLM 的推理控制平面，当前版本 v0.1.0-alpha.7，采用 Rust 编写、Apache 2.0 许可。
正文 · 原文
Linkerd 背后的公司 Buoyant 已发布 Kinference，这是一个用于在 Kubernetes 上构建推理平台的开源项目。Kinference 是面向 Kubernetes 和 vLLM 的推理控制平面。它位于一组 vLLM worker 之前，决定每个请求的去向。它在一层中实现路由策略、token 速率限制、KV-cache 感知的负载均衡和按租户的指标。对于向众多内部客户端提供多种开放权重模型的开发团队而言，它瞄准的是模型服务器之上的一层。该项目在 GitHub 上以 Apache 2.0 许可发布。当前版本为 v0.1.0-alpha.7。
TL;DR
- 规模：v0.1.0-alpha.7，使用 Rust 编写，Apache 2.0 许可，通过 5 个 Kubernetes CRD 进行配置。
- 运行环境：任何运行 vLLM 且具备 GPU 的 Kubernetes 集群。Buoyant 的基准测试每个池使用 3 块 L40S GPU。
- 性能：在前缀密集的流量下，相比普通的 Kubernetes Service 路由有大幅提升（自报数据）。
- 最佳：在共享前缀工作负载上，中位 TTFT 从 6.88 秒降至 0.31 秒（95%）。
- 最差：在没有共享前缀的提示上，中位 TTFT 没有提升（6.92 秒 vs 6.83 秒）。
什么是 Kinference？
Kinference 是一个策略驱动的控制平面，可将 Kubernetes 加 vLLM 转变为多租户推理平台。Buoyant 的 FAQ 简单概括为：vLLM 是数据平面，Kinference 是控制平面。
Kinference 如何工作？
该系统包含 2 个部分：流量网关和推理处理器。GitHub README 指出，处理器暴露一个 gRPC 接口。它接收请求并返回选定的端点以及可能被修改的请求体。它与 Buoyant Gateway 等代理配合使用。
Kinference 监听 vLLM KV-cache 事件和引擎指标。它目前使用 NVIDIA 的 dynamo-kv-router crate 来处理缓存事件。配置位于 5 个 CRD 中：GatewayBackend、InferencePolicy、InferencePool、InferenceProvider 和 InferenceWorkerSet。
什么是推理策略？
推理策略是声明式规则，规定每个请求如何被路由或拒绝。规则可以匹配租户、请求的模型、GPU 池状态和语义标签。项目网站上的示例策略涵盖 5 种模式：
- 简单到更便宜：将低复杂度提示路由到较小的模型，除非缓存重叠使大模型更快。
- 突发到云端：跳过排队提示超过 2 个的 worker，然后回退到 Bedrock 等提供商。
- PII 留在本地：当 PII 标签触发时移除外部提供商，并以
onEmpty: Reject失败关闭。 - 空闲 GPU 上批处理：仅将批处理请求发送到 KV-cache 使用率低于 70% 的 worker。
- 模型别名：发布一个稳定的名称，例如
standard-model，由多个模型支持。
大多数规则以 minimize: PredictedTTFT 结尾。Kinference 利用缓存重叠和队列长度，预测每个候选端点的首 token 时间。策略存放在 git 中，并可使用 kinfctl CLI 离线验证。
Kinference 在基准测试中有多快？
Buoyant 发布了一项针对普通 Kubernetes 负载均衡的基准测试。每个测试组使用 3 个 vLLM 0.31.0 pod，每个 pod 运行在 1 块 L40S GPU 上。模型为 Qwen3.8-27B-FP8。负载来自 GuideLLM 0.8.1。基线是 ClusterIP Service，其中 kube-proxy 为每个连接随机选择一个 pod。
无负载延迟结果（TTFT 中位数）：
| 工作负载 | Kubernetes Service | Kinference | 变化 |
|---|---|---|---|
| 对照组（无共享前缀） | 6.92 s | 6.83 s | 无显著差异 |
| 共享前缀 | 6.88 s | 0.31 s | 约 -95% |
| 多轮对话 | 1.70 s | 0.59 s | 约 -65% |
共享前缀场景下端到端延迟中位数下降 45%，多轮对话场景下降 32%。在对照流量上，p95 TTFT 仍从 21.46 s 降至 12.33 s。Buoyant 将此归因于队列感知的负载均衡。
容量测试测量的是有效吞吐量：即每分钟满足 TTFT SLO 的请求数。共享前缀场景下峰值有效吞吐量为 103.0 对 14.0 req/min，约 7.4 倍。多轮对话场景为 82.7 对 23.8，约 3.5 倍。Service 基线在所有测试并发下均未满足 SLO。
这些数字为自报数据。基线是随机路由，而非 llm-d 或 Dynamo 等其他缓存感知路由器。Buoyant 还指出其 SLO（8 s 和 4 s）适用于离线代理，而非聊天。
Kinference 与 llm-d、Dynamo 和 Production Stack 相比如何？
| 特性 | Kinference | llm-d | NVIDIA Dynamo | vLLM Production Stack |
|---|---|---|---|---|
| 支持方 | Buoyant | CNCF 沙箱（Red Hat、Google Cloud、IBM、CoreWeave、NVIDIA） | NVIDIA | vLLM 项目 |
| 许可证 | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| 成熟度 | v0.1.0-alpha.7 | v0.7（2026 年 5 月） | 1.x（1.5.1 容器） | 参考栈 |
| 引擎 | vLLM（计划支持 SGLang、TensorRT-LLM） | vLLM、SGLang | vLLM、SGLang、TensorRT-LLM | vLLM |
| KV 缓存感知路由 | 是，预测 TTFT | 是，前缀缓存和预测延迟 | 是，KV 感知路由器 | 基于会话；前缀感知列为 WIP |
| 声明式路由策略 CRD | 是（InferencePolicy） | README 中未记录 | README 中未记录 | README 中未记录 |
| 突发至外部提供商 | 是（InferenceProvider） | README 中未记录 | README 中未记录 | README 中未记录 |
| 分离式预填充/解码 | 未披露 | 是 | 是 | 路线图中 |
| 多租户控制 | 按租户指标；速率限制计划中 | 多租户服务的流控 | 通过 GAIE 的网关级速率限制 | README 中未记录 |
| 主要结果 | 相比 kube-proxy，TTFT 中位数 -95%（3x L40S） | 相比轮询，吞吐量 3 倍，TTFT 快 2 倍（4x MI300X） | KV 感知路由下 TTFT 快 2 倍（Baseten） | 未披露 |
Kinference 的独特角度是治理：策略、别名、提供商回退和租户核算。llm-d 和 Dynamo 在原始服务性能、分离和引擎覆盖方面领先。
部署与可用性
根据入门指南，安装需要 5 个步骤。团队安装 Gateway API v1.5.1 CRD、Buoyant 网关 Helm chart，然后安装 Kinference chart。Kinference 提供 Prometheus 指标和 Grafana 仪表板。指标包括 TTFT、ITL、端到端延迟以及缓存与未缓存提示 token，大多按租户划分。
关键要点
- Kinference 是 Linkerd 开发商 Buoyant 推出的、面向 Kubernetes 上 vLLM 的 Apache 2.0 控制平面。
- 声明式 InferencePolicy 规则处理模型选择、提供商突发、PII 路由和批处理准入。
- 自报数据显示，共享前缀流量下 TTFT 中位数相比 kube-proxy 下降 95%。
- 峰值有效吞吐量在共享前缀场景下提升约 7.4 倍，多轮对话场景下提升 3.5 倍。
- 目前为 alpha 版本：限流、分类器和 Anthropic API 支持尚未发布。
查看 GitHub 仓库、文档、发布文章 和 基准测试报告。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ 机器学习 SubReddit 并订阅 我们的新闻简报。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们
文章 Buoyant 发布 Kinference：面向 Kubernetes 和 vLLM 的开源推理控制平面 首次出现在 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news