NVIDIA 以 Apache 2.0 协议开源 Run:ai 平台，用于 Kubernetes GPU 编排
NVIDIA 将 Run:ai 平台以 Apache 2.0 协议开源，用于 Kubernetes GPU 编排
NVIDIA 将 Run:ai 平台完整开源，源码以 Apache 2.0 协议发布在 GitHub，平台团队可检视、fork 和自托管而无需付费订阅。
MarkTechPost· Asif Razzaq·2026-10-19 11:19· 2 小时前AI 评分59
NVIDIA 以 Apache 2.0 协议开源 Run:ai，用于 Kubernetes GPU 编排
AI 导读
NVIDIA 将 Run:ai 平台完整开源，源码以 Apache 2.0 协议发布在 GitHub，平台团队可检视、fork 和自托管而无需付费订阅。
正文 · 原文
NVIDIA 已将完整的 NVIDIA Run:ai 平台作为开源软件发布。源代码以 Apache 2.0 协议在 GitHub 上发布。NVIDIA Run:ai 开源版将生产级 GPU 调度、配额和工作负载管理交到开发者手中。此次发布使 Run:ai 成为 NVIDIA DSX AI Factory 平台的一部分。平台团队现在可以检视、fork 和自托管该技术栈，而无需付费订阅。
TL;DR
- 规模：单体仓库，包含控制平面、集群服务、安装器、CLI 和 MCP 服务器。本地开发构建约 50 个 Go 服务。
- 运行于：配备 NVIDIA GPU 的 Kubernetes 或 OpenShift 集群。本地开发可在 macOS 或 Linux 上运行，使用 8 个模拟的 Tesla-A10 GPU，无需真实 GPU。
- 性能：NVIDIA 未针对此次发布公布平台级基准测试。
- 最佳：相关的 Model Streamer 在 Azure 上的 8 台 NVIDIA H100 虚拟机上将模型加载速度提升了 3 到 6 倍。
- 最差：社区版没有 NVIDIA 企业支持。在 Linux 上本地构建需要 16 GB 内存和 100 GB 磁盘。
NVIDIA Run:ai 是什么？
NVIDIA Run:ai 是 NVIDIA 推出的面向 Kubernetes 的 AI 工作负载与 GPU 编排平台。它在共享 GPU 集群上调度开发、训练和推理工作负载。它运行在 Kubernetes 之上，并不取代 Kubernetes。
控制平面负责工作负载提交、资源管理和监控。集群服务运行在每个 Kubernetes 集群上，并增加 GPU 感知调度能力。用户可通过 Web UI、CLI、REST API 以及面向 AI 助手的 MCP 服务器访问它。
4 个模块化组件是什么？
NVIDIA 将此次发布拆分为 4 个组件，团队可以独立采用：
- KAI Scheduler 是 Kubernetes 原生调度引擎。它采用 Apache 2.0 协议，是一个 CNCF 沙箱项目。它涵盖 gang 调度、基于时间的公平共享、拓扑感知、装箱和 DRA 支持。
- GPU Fractioning Operator 将 CUDA 13.4 原生的 GPU 分数化能力引入 Kubernetes。CUDA 驱动为每个工作负载强制执行硬性内存限制。NVIDIA 已弃用其旧的专有分数化方案，转而采用此方法。该 Operator 与调度器无关，并导出每个 Pod 的指标。
- KAI Resource Management 增加了项目、部门、配额和节点池。NVIDIA 的示例为某个研究团队保证了集群 50% 的资源。
- Workload Map 是一个 Go 库，用于描述 PyTorchJob、RayCluster 和 KServe 服务等工作负载类型。它可离线工作，不负责调度、排队或自动扩缩容。
开发者如何在本地运行 NVIDIA Run:ai？
本地开发指南基于 1 个脚本 local-dev.sh。它在容器内从源码构建约 50 个 Go 服务。然后创建一个固定为 Kubernetes v1.32.5 的 5 节点 Kind 集群。一个模拟 GPU Operator 模拟 8 个 Tesla-A10 GPU，因此无需 GPU 硬件。
- 支持的宿主机：macOS 或 Linux，amd64 或 arm64 架构。不支持 Windows。
- Linux 宿主机需要 4 个 CPU、16 GB 内存和 100 GB 可用磁盘。
- macOS 上的 Podman 虚拟机需要至少 12 GB 内存。
- 一次完整构建会留下约 44 GB 的缓存。
--gpu-operator 标志会切换到真实的 NVIDIA GPU。该模式需要 Linux、Docker 和 NVIDIA Container Toolkit。不支持 AMD 和 Intel 加速器。
团队如何将其部署到生产环境？
开发团队可以从源码部署，或使用 NGC Community Product Helm chart 部署。该版本无需付费订阅，但不包含 NVIDIA 企业级支持。
团队还可以通过 8 家 DSX 生态合作伙伴采用它。这些合作伙伴是 Crusoe、Mirantis、Nebius、OpenNebula Systems、Rafay、Saturn Cloud、Spectro Cloud 和 vCluster。受支持的商业版本继续通过 NVIDIA AI Enterprise、NVIDIA Mission Control 和部分云市场提供。
有哪些相关的开源项目一同发布？
两个相邻项目完善了整个技术栈。Model Streamer 将模型权重直接流式传输到 GPU 内存。vLLM 和 SGLang 通过 --load-format runai_streamer 实现这一点。
Microsoft 的已发布基准测试使用了 8 台 NVIDIA H100 虚拟机。结果显示，加载速度比默认加载器快 3 到 6 倍。吞吐量保持在 80 Gbps，而默认路径约为 40 Gbps。
Grove 编排多组件推理工作负载。它以全有或全无的单元方式启动 prefill 和 decode 等组件。
NVIDIA Run:ai 与其他开源 Kubernetes 调度器相比如何？
| 功能 | NVIDIA Run:ai（开源） | Volcano | Kueue | Apache YuniKorn |
|---|---|---|---|---|
| 许可证 | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| 治理 | NVIDIA DSX AI Factory 组织（KAI Scheduler：CNCF Sandbox） | CNCF Incubating | kubernetes-sigs（wg-batch） | Apache Software Foundation |
| 范围 | 完整平台：控制平面、UI、CLI、REST API、MCP 服务器 | 批处理调度系统 | 作业排队控制器 | 调度器，默认调度器的替代方案 |
| 替换 kube-scheduler | 否，通过 KAI Scheduler 扩展它 | 未披露 | 否 | 是，作为替代方案 |
| Gang 调度 | 是 | 是 | 基于超时的全有或全无 | 是 |
| 配额层级 | 项目、部门、节点池 | 多级队列 | Cohorts、公平共享 | 分层队列 |
| GPU 共享 | CUDA 13.4 原生分数，带硬性内存限制 | vGPU、动态 MIG | 基于 DRA 的 GPU 配额；概览中未包含分数化 | 未披露 |
| 拓扑感知 | 是 | 是 | 是 | 未披露 |
| 多集群 | 是，通过控制平面 | 是 | 是，MultiKueue | 未披露 |
| Web UI | 是 | 独立的仪表板项目 | 未披露 | 未披露 |
关键区别在于范围。Volcano、Kueue 和 YuniKorn 专注于调度或排队。Run:ai 在其调度器之上提供了完整的管理平台。
关键要点
- NVIDIA Run:ai 现已在 Apache 2.0 下完全开源。
- 4 个组件可独立发布：KAI Scheduler、GPU Fractioning、Resource Management、Workload Map。
- GPU 分数化现在使用 CUDA 13.4 原生内存隔离。
- 本地开发在带有 8 个模拟 GPU 的 5 节点 Kind 集群上运行。
- 免费版不包含 NVIDIA 企业级支持。
查看 GitHub 仓库、本地开发指南和 NVIDIA 技术博客。所有功劳归于本项目的研究人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ 机器学习 SubReddit 并订阅我们的新闻简报。等等！你在用 Telegram 吗？现在你也可以在 Telegram 上加入我们了。
文章 NVIDIA 以 Apache 2.0 许可证开源 Run:ai，用于 Kubernetes GPU 编排 首次发布于 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news